WO2016113861A1 - 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム - Google Patents

三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム Download PDF

Info

Publication number
WO2016113861A1
WO2016113861A1 PCT/JP2015/050787 JP2015050787W WO2016113861A1 WO 2016113861 A1 WO2016113861 A1 WO 2016113861A1 JP 2015050787 W JP2015050787 W JP 2015050787W WO 2016113861 A1 WO2016113861 A1 WO 2016113861A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement object
dimensional shape
unit
information
measurement
Prior art date
Application number
PCT/JP2015/050787
Other languages
English (en)
French (fr)
Inventor
秀貴 佐々木
祐司 國米
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2015/050787 priority Critical patent/WO2016113861A1/ja
Publication of WO2016113861A1 publication Critical patent/WO2016113861A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • the present invention relates to a measuring apparatus, a measuring method, a structure manufacturing system, a structure manufacturing method, and a measurement program.
  • a phase shift method is known as a method for measuring the three-dimensional shape of a measurement object.
  • a shape measuring apparatus using the phase shift method includes a projection unit, an imaging unit, and a control unit.
  • This projection unit projects a striped pattern light having a sinusoidal light intensity distribution (hereinafter referred to as structured light) onto a measurement object.
  • the imaging unit images each measurement object and acquires four phase images.
  • the control unit applies data relating to the signal intensity of each pixel in the four images captured by the imaging unit to a predetermined arithmetic expression, and obtains the phase value of the fringes at each pixel according to the surface shape of the measurement target.
  • the calculation unit calculates three-dimensional data (for example, point cloud data) of the measurement object from the phase value of the stripes in each pixel using the principle of triangulation.
  • An apparatus using this phase shift method is disclosed in Patent Document 1, for example.
  • the three-dimensional data of the entire measurement object is connected by connecting the three-dimensional data calculated by measuring different positions of the measurement object.
  • the shape can be measured.
  • the connection of the three-dimensional data is performed, for example, by overlapping a part of the three-dimensional data.
  • region on a measuring object are superimposed.
  • the shape measuring device When the shape measuring device is portable so that it can be carried, in the process of superimposing a part of the three-dimensional data, first, the shape measuring device is arranged at the first position and an image of the first part of the measurement object is obtained. Take an image. Next, the shape measuring device is moved to the second position, the second portion image is captured so that the first portion image partially overlaps, and three-dimensional data is calculated respectively.
  • the image of the first part and the image of the second part are configured to include a common feature region on the measurement object.
  • This feature area is an area in each image of the first part image and the second part image, for example, and can be identified by the change in luminance (signal intensity) with respect to the other areas. is there.
  • the change in luminance is based on a change in the shape of the measurement object, the light reflectance of the surface, and the like.
  • rotation and translation from the imaging position are obtained for the three-dimensional data of the feature region on the measurement object. From this result, the rotation and translation of the shape measuring apparatus changed between the first position and the second position are calculated. Then, using the calculated rotation and translation, at least one of the three-dimensional data of the first part and the three-dimensional data of the second part is converted, and the three-dimensional data based on one of the first position and the second position And Thereby, the three-dimensional data of the first part and the three-dimensional data of the second part can be connected.
  • an index such as a marker may be placed on the measurement object in advance as necessary, and an image may be captured together with the measurement object and the index in the imaging unit.
  • the three-dimensional data can be connected to each other using the region where the index is arranged as a feature region.
  • an operator determines a place where it is difficult to connect three-dimensional data and places an index.
  • an object of the present invention is to improve the success rate of three-dimensional shape measurement including point cloud connection between three-dimensional data.
  • the imaging unit that images the measurement object and the image of the measurement object captured by the imaging unit.
  • a detection unit for detecting a feature region of the measurement target, a notification unit for notifying a user of feature region information based on a result detected by the detection unit, and a plurality of measurement target images captured by the imaging unit.
  • a three-dimensional shape measuring apparatus comprising: a measuring unit that calculates a three-dimensional shape of a measurement object.
  • the measurement object is imaged, and the characteristic region of the measurement object is based on the captured image of the measurement object. Detecting feature area information based on the detected result, calculating a three-dimensional shape of the measurement object based on the captured images of the plurality of measurement objects, A three-dimensional shape measuring method is provided.
  • a design apparatus for producing design information related to the shape of the structure a molding apparatus for producing the structure based on the design information, and a three-dimensional shape of the produced structure are measured.
  • a structure manufacturing system comprising: the three-dimensional shape measuring apparatus according to the first aspect; and an inspection apparatus that compares shape information and design information related to the three-dimensional shape of the structure obtained by the measuring apparatus. Is done.
  • the design information relating to the shape of the structure is created, the structure is created based on the design information, and the second three-dimensional shape of the produced structure is measured.
  • a method for manufacturing a structure including the method for measuring a three-dimensional shape according to the aspect, and comparing the shape information and the design information regarding the three-dimensional shape of the structure obtained by the measuring method.
  • the computer included in the three-dimensional shape measurement apparatus for measuring the three-dimensional shape of the measurement object is based on the process of imaging the measurement object and the captured image of the measurement object.
  • a measurement program is provided that executes a process of calculating a shape.
  • the success rate of three-dimensional shape measurement including the connection of three-dimensional data can be improved.
  • FIG. 1 It is a figure which shows an example of the shape measuring apparatus which concerns on 1st Embodiment. It is a block diagram which shows an example of a detailed structure of the shape measuring apparatus shown in FIG. It is a figure which shows intensity distribution of structured light in a projection area. It is a figure which shows the relationship between a projection area
  • FIG. 1 It is a figure which shows typically the processing content in a shape measuring apparatus.
  • A) is a figure which shows typically the processing content in a shape measuring apparatus
  • (b) is a figure which shows an example of operation
  • (A) is a figure which shows an example of operation
  • (b) is a figure which shows typically the processing content in a shape measuring apparatus.
  • FIG. 1 is a diagram illustrating an example of a shape measuring apparatus according to the first embodiment.
  • the right direction of the drawing is the X axis
  • a certain direction orthogonal to the X axis is the Y axis
  • a direction orthogonal to the X axis and the Y axis is the Z axis.
  • the shape measuring device 1 is a device that measures the three-dimensional shape of the measuring object 2 using the phase shift method.
  • the shape measuring apparatus 1 includes a projection unit 10, an imaging unit 50, an arithmetic processing unit 60, a display device 70, an audio output device 80, and a housing 90.
  • the shape measuring apparatus 1 has a configuration in which a projection unit 10, an imaging unit 50, an arithmetic processing unit 60, a display device 70, and an audio output device 80 are accommodated in a portable casing 90.
  • the projection unit 10 generates projection light 100 along the first direction D1 (X-axis direction in FIG. 1). Then, the projection unit 10 projects the structured light 101 on the projection region 200 by scanning the generated projection light 100 along the second direction D2 different from the first direction.
  • the structured light 101 of the first embodiment is structured light used in the phase shift method.
  • the second direction D2 is a direction along the Y-axis direction in FIG. 1, and is a direction orthogonal to the first direction D1. Details of the structured light 101, the projection region 200, and the feature region will be described later.
  • the imaging unit 50 images the measurement object 2.
  • the imaging unit 50 is disposed at a position different from the position of the projection unit 10.
  • the imaging unit 50 images the measurement object 2 onto which the projection light 100 is projected from a direction different from the direction in which the projection unit 10 projects.
  • the imaging unit 50 includes a first imaging unit 50A and a second imaging unit 50B.
  • the first imaging unit 50A images, for example, an image of the measurement object 2 onto which the structured light 101 is projected (hereinafter referred to as “measurement image”).
  • the first imaging unit 50A captures, for example, an image of the measurement object 2 by natural light (hereinafter, referred to as “reference image”) separately from the measurement image.
  • the reference image includes a still image and a live view image.
  • the first imaging unit 50A captures an image with a rectangular predetermined imaging visual field 210A.
  • the second imaging unit 50B images the measurement object 2 with a rectangular imaging field 210B wider than the imaging field 210A of the first imaging unit 50A.
  • the imaging visual field 210B is set so that the entire measurement object 2 can be accommodated.
  • the imaging field of view 210A and the imaging field of view 210B are not limited to rectangles, and may be other shapes such as a circle or an ellipse.
  • an image captured by the second imaging unit 50B is referred to as a “wide field reference image”.
  • the imaging field 210B is larger (wide) than the imaging field 210A, but the imaging field 210A and the imaging field 210B may be the same or substantially the same.
  • the arithmetic processing unit 60 controls operations of the projection unit 10, the imaging unit 50, the arithmetic processing unit 60, the display device 70, and the audio output device 80. In addition, the arithmetic processing unit 60 controls the imaging unit 50 so as to capture an image of the measurement target 2 by natural light. Further, the arithmetic processing unit 60 calculates the three-dimensional shape of the measurement object 2 based on the luminance data (signal intensity) of each pixel in the image data captured by the imaging unit 50.
  • FIG. 2 is a block diagram showing an example of a detailed configuration of the shape measuring apparatus 1 shown in FIG.
  • the projection unit 10 includes a light generation unit 20, a projection optical system 30, and a scanning unit 40.
  • the light generation unit 20 generates the projection light 100.
  • the light generation unit 20 includes a laser controller 21 and a laser diode 22.
  • the laser controller 21 controls irradiation of the laser light by the laser diode 22 based on a command signal from the control unit 62.
  • the laser diode 22 is a light source that emits laser light based on a control signal from the laser controller 21.
  • the laser diode 22 includes, for example, a red laser diode that emits red light, a green laser diode that emits green light, and a blue laser diode that emits blue light.
  • the projection optical system 30 projects the projection light 100 generated by the light generation unit 20.
  • the projection light 100 emitted from the projection optical system 30 is projected toward the measurement object 2 or the vicinity of the measurement object 2 via the scanning unit 40.
  • the projection optical system 30 includes one or a plurality of transmission optical elements or reflection optical elements.
  • the scanning unit 40 reflects the projection light 100 emitted from the projection optical system 30 by using, for example, a reflection optical element such as a mirror, and changes the reflection angle thereof to change the projection light 100 in the second direction D2 ( Scan in the Y-axis direction in FIG.
  • a reflection optical element such as a mirror
  • a MEMS (Micro Electro Mechanical Systems) mirror that changes the reflection angle of the projection light 100 by resonating the mirror with static electricity is used.
  • the second direction D2 is a direction on the measurement object 2 different from the first direction D1 (X-axis direction in FIG. 2).
  • the first direction D1 and the second direction D2 are orthogonal to each other.
  • the scanning width in the second direction D2 by the MEMS mirror (that is, the length in the second direction D2 in the projection region 200) is determined by the amplitude in the vibration direction of the MEMS mirror. Further, the speed at which the projection light 100 is scanned in the second direction D2 by the MEMS mirror is determined by the angular speed (that is, the resonance frequency) of the MEMS mirror. Further, by vibrating the MEMS mirror, the projection light 100 can be scanned back and forth.
  • the start position of scanning with the projection light 100 is arbitrary. For example, in addition to starting the scanning of the projection light 100 from the end of the projection area 200, the scanning may be started from approximately the center of the projection area 200.
  • FIG. 3 is a diagram showing the intensity distribution of the structured light 101 in the projection region 200.
  • FIG. 3 When a three-axis coordinate system as shown in FIG. 1 is set, in FIG. 3, the right direction of the paper surface is the Y axis, the upward direction of the paper surface is the X axis, and the direction from the back of the paper surface to the front is the Z axis. Become.
  • the projection light 100 is slit-shaped light having a predetermined length in the first direction D1.
  • the projection light 100 is scanned over a predetermined distance in the second direction D2, thereby forming a rectangular projection region 200.
  • the projection area 200 is an area onto which the structured light 101 is projected, and is an area defined by the first direction D1 and the second direction D2.
  • the projection area 200 includes part or all of the measurement object 2.
  • the structured light 101 shown in FIG. 3 is pattern light having a periodic light intensity distribution along the second direction D2.
  • a stripe pattern P having a sinusoidal periodic light intensity distribution along the second direction D2 is used as an example of the structured light 101.
  • the fringe pattern P is formed, for example, by setting the wavelength of the projection light 100 to a predetermined wavelength (eg, about 680 nm) and scanning in the second direction D2 while periodically changing the light intensity of the projection light 100.
  • the stripe pattern P has a light-dark pattern in which a bright part (white part in FIG. 3) and a dark part (black part in FIG. 3) change along the second direction D2.
  • the fringe pattern P is also expressed as a shading pattern in which a dark portion (black portion in FIG.
  • the stripe pattern P is a lattice pattern, it is also expressed as a lattice pattern.
  • the second direction D2 is also referred to as a light / dark direction, a light / dark direction, or a lattice direction.
  • the first imaging unit 50 ⁇ / b> A includes an imaging optical system 51 and an imaging device 52.
  • the imaging optical system 51 is an optical system that forms an image of a region including a portion on which the projection light 100 is projected and a reference image on the surface of the measurement object 2 on the imaging surface of the imaging device 52.
  • the imaging optical system 51 uses, for example, a plurality of lenses.
  • the imaging device 52 generates image data of the measurement object 2 based on the image formed by the imaging optical system 51 and stores the generated image data.
  • the imaging device 52 includes a CCD camera 52a and an image memory 52b.
  • the CCD camera 52a is a camera using a charge-coupled device.
  • Image data generated by the CCD camera 52a is composed of signal intensity data for each pixel.
  • the image memory 52b stores image data generated by the CCD camera 52a.
  • the second imaging unit 50B includes an imaging optical system 53 and an imaging device 54.
  • the imaging optical system 53 is, for example, an optical system that forms a wide-field reference image of the measurement object 2 on the imaging surface of the imaging device 54, but is not limited to this, and the imaging of the first imaging unit 50A is not limited thereto. Any configuration capable of imaging a wider range than the optical system 51 may be used.
  • the imaging optical system 53 for example, a plurality of lenses are used.
  • the imaging device 54 generates image data of the measurement object 2 based on the image formed by the imaging optical system 53 and stores the generated image data.
  • the imaging device 54 includes a CCD camera 54a and an image memory 54b.
  • the CCD camera 54a is a camera that uses a charge coupled device.
  • the CCD camera 54a has a larger number of pixels than the CCD camera 52a of the first imaging unit 50A.
  • the number of pixels of the CCD camera 54a is set to be approximately equal to the number of pixels of the CCD camera 52a when the range equal to the imaging field of view 210A of the CCD camera 52a is enlarged in the image captured by the CCD camera 54a.
  • the number of pixels of the CCD camera 54a may be larger or smaller than the number of pixels of the CCD camera 52a when the range equal to the imaging visual field 210A of the CCD camera 52a is enlarged.
  • FIG. 4A shows the relationship between the projection area and the imaging field of view.
  • the imaging field 210A of the first imaging unit 50A and the imaging field 210B of the second imaging unit 50B will be briefly described with reference to FIG.
  • FIG. 4 (a) the right direction of the paper surface is the Y axis, the upward direction of the paper surface is the X axis, and the direction from the back of the paper surface to the front is Z axis.
  • the imaging visual field 210A of the first imaging unit 50A indicates the region of the measurement object 2 imaged by the first imaging unit 50A.
  • the imaging visual field 210A is rectangular, and the projection area 200 is an area wider than the imaging area 210A.
  • the imaging visual field 210A may be an area having the same area as the projection area 200, and the imaging visual field 210A may be an area larger than the projection area 200.
  • the projection light 100 starts scanning from the outside of the imaging field 210A (that is, outside the imaging field) and from within the imaging field 210A (that is, within the imaging field). Either the case where scanning is started or the case where scanning starts.
  • the imaging field of view 210B of the second imaging unit 50B is rectangular, and indicates the region of the measurement object 2 imaged by the second imaging unit 50B.
  • the imaging visual field 210 ⁇ / b> B is set so as to include the entire measurement object 2.
  • the imaging field 210B is wider than the imaging field 210A of the first imaging unit 50A.
  • FIG. 4B is a diagram illustrating an example of the marker MC.
  • the marker MC has a rectangular pattern S arranged in a matrix of 3 rows ⁇ 3 columns.
  • the rectangular pattern S has a colored region S1 and a non-colored region S2.
  • the non-colored region S2 is a region where nothing is arranged, for example.
  • the rectangular pattern S shown in FIG. 4B has five colored areas S1 and four non-colored areas S2.
  • the color of the colored region S1 is, for example, black.
  • the marker MC can be identified.
  • the marker MC includes at least four corners as a feature region.
  • the marker MC may be a feature region at the corner of the colored region S1.
  • the arithmetic processing unit 60 includes an operation unit 61, a control unit 62, a setting information storage unit 63, a capture memory 64, a calculation unit 65, an image storage unit 66, a display control unit 67, and a voice.
  • An output control unit 68 is included.
  • the operation unit 61 outputs an operation signal corresponding to a user operation to the control unit 62.
  • the operation unit 61 is, for example, a button or switch operated by the user. Specific examples include a shutter and a switch for switching between imaging by the first imaging unit 50A and imaging by the second imaging unit 50B.
  • a touch panel is formed on the display device 70. This touch panel is also used as the operation unit 61.
  • the control unit 62 controls the light generation unit 20, the scanning unit 40, and the imaging unit 50.
  • the control unit 62 controls the light generation unit 20.
  • the control unit 62 executes the following control according to the program stored in the setting information storage unit 63.
  • the control unit 62 outputs a command signal to the scanning unit 40 and the CCD camera 52a, and controls the imaging of the measurement object 2 by the CCD camera 52a to be synchronized with the scanning of the fringe pattern P by the scanning unit 40. Further, the control unit 62 performs control so as to synchronize imaging of one frame by the CCD camera 52a and a plurality of times of scanning of the stripe pattern P.
  • the control unit 62 can control the CCD camera 52a independently. In this case, under the control of the control unit 62, the CCD camera 52a captures a reference image of the measurement object 2 using natural light at a predetermined frame rate.
  • the control unit 62 controls the CCD camera 54a. In this case, under the control of the control unit 62, the CCD camera 54a captures a wide-field reference image of the measurement object 2 using natural light.
  • the controller 62 can irradiate a desired laser beam combining red light, blue light and green light from the laser diode 22 by outputting a command signal to the laser controller 21.
  • the control unit 62 can adjust the light intensity of the laser light emitted from the laser diode 22 by outputting a command signal to the laser controller 21.
  • the control unit 62 periodically changes the light intensity of the projection light 100 having a predetermined wavelength by synchronously controlling the laser controller 21 and the scanning unit 40, for example.
  • the projection light 100 is scanned in the second direction D2.
  • the frequency of the MEMS mirror constituting the scanning unit 40 is set to, for example, 500 Hz (the oscillation cycle of the MEMS mirror is 2 ms for reciprocation).
  • the shutter speed of the CCD camera 52a exposure time of the CCD camera 52a
  • the control unit 62 performs control so that the projection light 100 is reciprocated 20 times, for example, by the scanning unit 40 during imaging of one frame by the CCD camera 52a.
  • the setting information storage unit 63 stores a program for causing the control unit 62 to execute control. In addition, the setting information storage unit 63 stores a program for causing the calculation unit 65 to execute calculation processing of a three-dimensional shape. The setting information storage unit 63 stores a program for causing the display control unit 67 to execute display control. The setting information storage unit 63 stores a program for causing the audio output control unit 68 to execute audio control. The setting information storage unit 63 also stores calibration information used when calculating the actual coordinate value of the measurement object 2 from the fringe phase of the fringe pattern P in the calculation process of the calculation unit 65.
  • the capture memory 64 captures and stores the image data stored in the image memory 52b and the image memory 54b. This capture memory 64 projects the fringe pattern P and the measurement image of the measurement object 2 imaged by the CCD camera 52a, the reference image of the measurement object 2 by natural light, and the measurement object 2 imaged by the CCD camera 54a. A wide-field reference image is stored.
  • the capture memory 64 is provided with a plurality of storage areas. The image data of the measurement image and the image data of the reference image are stored in different storage areas, for example.
  • the calculation unit 65 executes a predetermined calculation according to the program and calibration information stored in the setting information storage unit 63.
  • the calculation unit 65 includes a detection unit 69 and a measurement unit 71.
  • the detection unit 69 detects the feature region of the measurement object 2 based on the wide-field reference image captured by at least the second imaging unit 50B in the imaging unit 50.
  • the feature area is an area on the measurement object 2, for example, and is an area that can be identified by a change in luminance with respect to other areas. In this case, the change in luminance is based on, for example, a change in the shape of the measurement object 2, the light reflectance of the surface, and the like.
  • the calculation unit 65 generates feature area information based on the detection result detected by the detection unit 69.
  • the feature area information includes provision information regarding a provision position of a new second feature area different from the feature area (first feature area) detected by the detection unit 69.
  • Examples of the second feature region include a new marker MC.
  • This assignment information includes at least one of information relating to the area to which the second feature area is assigned and information relating to the number to which the second feature area is assigned.
  • the computing unit 65 generates the assignment information based on at least one of the number of first feature areas, the contrast of the first feature areas, and the distribution of the first feature areas.
  • the measurement unit 71 calculates the shape of the measurement target 2 based on a plurality of three-dimensional data obtained from a plurality of images of the measurement target 2 imaged by the imaging unit 50.
  • the image storage unit 66 stores the three-dimensional shape data of the measurement object 2 calculated by the calculation unit 65. Further, the image storage unit 66 stores the wide-field reference image in which the feature region is detected by the detection unit 69.
  • the display control unit 67 executes display control of a three-dimensional image according to a program stored in the setting information storage unit 63. That is, the display control unit 67 reads the three-dimensional shape data stored in the image storage unit 66 in accordance with the operation of the operation unit 61 by the user or automatically. And the display control part 67 performs control which displays the image of the three-dimensional shape of the measuring object 2 on the display screen of the display apparatus 70 based on the read-out three-dimensional shape data. In addition, the display control unit 67 reads the reference image data stored in the image storage unit 66 in accordance with the program stored in the setting information storage unit 63.
  • the display control unit 67 performs control to display a still image or a live view image (wide-field reference image) of the measurement object 2 on the display screen of the display device 70 based on the read reference image data. In addition, the display control unit 67 performs control to display the feature area information generated by the calculation unit 65.
  • the audio output control unit 68 executes output control of audio information (auditory information) according to the program stored in the setting information storage unit 63.
  • voice information includes voice information created in advance to notify the user of the grant information regarding the grant position of the second feature region.
  • the display device 70 is a device that displays a three-dimensional image or a reference image (a still image and a live view image) of the measurement target 2 under the control of the display control unit 67. Further, the display device 70 functions as a notification unit 85 that notifies the user of the given information as visual information under the control of the display control unit 67.
  • the display device 70 for example, a liquid crystal display device or an organic EL display device is used.
  • the audio output device 80 functions as a notification unit 85 that notifies the user of the assigned information as auditory information under the control of the audio output control unit 68.
  • a speaker or the like is used as the audio output device 80.
  • control unit 62, the calculation unit 65, and the display control unit 67 are configured by a calculation processing device such as a CPU (Central Processing Unit). That is, the arithmetic processing unit performs processing executed by the control unit 62 in accordance with a program stored in the setting information storage unit 63. In addition, the arithmetic processing unit performs processing executed by the arithmetic unit 65 in accordance with a program stored in the setting information storage unit 63. In addition, the arithmetic processing unit performs processing executed by the display control unit 67 and the audio output control unit 68 according to the program stored in the setting information storage unit 63.
  • This program includes a measurement program.
  • This measurement program is a process for imaging the measurement object 2 and a process for detecting a characteristic region of the measurement object 2 based on the captured image of the measurement object 2 with respect to the arithmetic processing unit (control unit 62). And a process of notifying the user of feature area information based on the detected result and a process of calculating the three-dimensional shape of the measurement object 2 based on the captured images of the plurality of measurement objects 2
  • the phase shift method is based on the principle of triangulation, and a fringe image (the fringe pattern P is projected by shifting the fringe phase of the fringe pattern P having a sinusoidal light intensity distribution projected onto the measurement object 2.
  • This is a method of measuring the shape three-dimensionally by analyzing the measured image of the measured object 2).
  • the fringe pattern P is four types of fringe patterns P obtained by shifting the fringe phase by ⁇ / 2 along the second direction D2.
  • the phase of the fringe pattern P can be rephrased as a phase of a sine wave that is a light intensity distribution of the fringe pattern P. That is, four types of fringe patterns P are generated by shifting a sine wave, which is a light intensity distribution, by ⁇ / 2 along the second direction D2.
  • the reference stripe pattern P is a first stripe pattern (first phase light) P1, and the phase of the first stripe pattern P1 is zero.
  • the stripe pattern P obtained by shifting the phase of the first stripe pattern P1 by ⁇ / 2 is defined as the second stripe pattern (second phase light) P2, and the stripe pattern obtained by shifting the phase of the first stripe pattern P1 by ⁇ .
  • P be the third stripe pattern (third phase light) P3
  • the stripe pattern P obtained by shifting the phase of the first stripe pattern P1 by 3 ⁇ / 2 be the fourth stripe pattern (fourth phase light) P4.
  • FIGS. 5A to 5D are views showing a state in which the first fringe pattern P1 to the fourth fringe pattern P4 are projected on a plane without the measuring object 2, and the CCD camera 52a in the projection area 200 is shown in FIG. It is an image of the imaging visual field 210A.
  • 5A shows the first stripe pattern P1
  • FIG. 5B shows the second stripe pattern P2
  • FIG. 5C shows the third stripe pattern P3
  • FIG. 5D shows the fourth stripe pattern P4.
  • the first fringe pattern P1 to the fourth fringe pattern P4 as shown in FIGS. 5A to 5D are projected from the projection unit 10 onto the measurement object 2 and are different from the projection unit 10.
  • the measurement object 2 is imaged by the imaging unit 50 arranged at an angle.
  • the projection unit 10, the measurement object 2, and the imaging unit 50 are arranged so as to have a triangulation positional relationship.
  • the imaging unit 50 captures four measurement images by imaging the measurement object 2 in a state where the first stripe pattern P1 to the fourth stripe pattern P4 are projected onto the measurement object 2, respectively. Then, the arithmetic processing unit 60 applies the data on the signal strengths of the four measurement images captured by the imaging unit 50 to the following (Equation 1), and the fringes in each pixel according to the surface shape of the measurement object 2 are calculated. A phase value ⁇ is obtained.
  • ⁇ (u, v) tan ⁇ 1 ⁇ (I4 (u, v) ⁇ I2 (u, v)) / (I1 (u, v) ⁇ I3 (u, v)) ⁇ (Expression 1)
  • (u, v) indicates the position coordinates of the pixel.
  • I1 is the signal intensity of the measurement image captured when the first fringe pattern P1 is projected.
  • I2 is the second stripe pattern P2
  • I3 is the third stripe pattern P3
  • I4 is the signal intensity of the measurement image when the fourth stripe pattern P4 is projected.
  • phase of the signal intensity that changes sinusoidally for each pixel of the image can be obtained.
  • a line (equal phase line) obtained by connecting points having the same phase ⁇ (u, v) represents the shape of a cross section obtained by cutting an object along a certain plane in the same manner as the cutting line in the optical cutting method. Therefore, a three-dimensional shape (height information at each point of the image) is obtained by the principle of triangulation based on this phase ⁇ (u, v).
  • the second direction D2 is equal to the first stripe pattern P1 by the distance corresponding to the position of the stripe corresponding to the phase ⁇ / 2. It is shifted to. Further, in the third stripe pattern P3, the position of the stripe is shifted in the second direction D2 by a distance corresponding to the phase ⁇ with respect to the first stripe pattern P1. Similarly, in the fourth stripe pattern P4, the position of the stripe is shifted in the second direction D2 by a distance corresponding to the phase 3 ⁇ / 2 with respect to the first stripe pattern P1. For this reason, on the imaging visual field 210A, the positions of the stripes are projected in equal intervals from the first stripe pattern P1 to the fourth stripe pattern P4 in the second direction D2.
  • 5A to 5D show the image of the stripe pattern P projected on the plane, the shape of the image of the stripe pattern P does not change.
  • the fringe pattern P is projected on the surface of the measuring object 2, so that the image of the fringe pattern P in the second direction D2 (see FIG. 3 in the Y-axis direction).
  • the measurement object 2 is arranged so as to be larger than the imaging visual field 210A of the first imaging unit 50A
  • the measurement object 2 has a size larger than the imaging visual field 210A in the Y direction.
  • a procedure for measuring the three-dimensional shape of the entire measurement object 2 by measuring a plurality of portions of the measurement object 2 and connecting the measurement results will be described as an example.
  • FIG. 6 is a flowchart for explaining an example of the measurement method according to the first embodiment.
  • 7 to 10 are diagrams schematically showing images displayed in the display area 70a in the measurement method in the order of processing.
  • the control unit 62 causes the second imaging unit 50B to capture the live view image of the measurement object 2 at a predetermined frame rate.
  • the display control unit 67 displays the live view image L1 captured by the second imaging unit 50B in the display area 70a of the display device 70 as illustrated in FIG. From this state, the user appropriately moves the shape measuring apparatus 1 and performs a shutter operation. Note that the control unit 62 may not capture a live view image.
  • the user since the live view image is not displayed on the display device 70, the user performs a shutter operation with the shape measuring device 1 directed toward the measurement object 2 by visual observation or the like. In this case, for example, the user may display the image captured first on the display device 70 and confirm the portion to be captured next.
  • the control unit 62 uses the second imaging unit 50B to obtain a wide-field reference image Im1, which is a still image of the entire measurement object 2, as illustrated in FIG. 7B. (Step S01).
  • the display control unit 67 displays the acquired wide-field reference image Im1 on the display area 70a of the display device 70.
  • the detection unit 69 detects a feature region included in the acquired wide-field reference image Im1 (step S02).
  • the detection unit 69 first identifies an area on the measurement object 2 that can be identified by the change in luminance (signal intensity) relative to other areas. Detect as feature region.
  • the change in luminance is based on a change in the shape of the measurement object 2, the light reflectance of the surface, and the like.
  • the detection unit 69 includes feature areas (first feature areas) A01 to A04 which are corners of the measurement object 2, and a plurality of textures A05 to A09 such as a pattern on the upper surface.
  • a feature region is detected.
  • each of the textures A05 to A09 includes at least three feature regions (first feature regions).
  • the textures A05 to A09 can also be referred to as feature regions.
  • Step S03 is performed in order to associate which part of the measurement object 2 is the image of the part of the measurement object 2 acquired by the imaging visual field 210A.
  • the control unit 62 switches from the second imaging unit 50B to the first imaging unit 50A, and causes the first imaging unit 50A to capture a live view image (reference image) of the measurement object 2.
  • the display control unit 67 displays the live view image L2 from the first imaging unit 50A in the display area 70a.
  • the detection unit 69 detects a feature region included in the live view image L2. For example, in FIG. 8A, the feature region included in the feature region A02 and the textures A05 and A06 is detected.
  • the detection unit 69 detects three feature regions A061, A062, and A063 included in the texture A06.
  • the detection unit 69 detects three characteristic regions A051, A052, and A053 (reference numerals are omitted in the drawing) of the texture A05.
  • the detecting unit 69 obtains at least three positions of the feature regions A02, A051 to A053, and A061 to A062, thereby obtaining the position in the imaging field 210B where the imaging field 210A is arranged. it can.
  • the detection unit 69 calculates the relative positional relationship between the imaging visual field 210A and the imaging visual field 210B. Thereafter, the detection unit 69 displays the imaging result obtained by the second imaging unit 50B in the display area 70a. At this time, as illustrated in FIG. 8B, the detection unit 69 displays the calculation result, for example, by superimposing the imaging field of view 210A on the display area 70a in order to make the user recognize the calculation result of the relative positional relationship.
  • the detection unit 69 generates feature area information based on the wide-field reference image Im1 (step S04).
  • the detection unit 69 detects whether or not there is a part that does not include the characteristic region in the imaging visual field 210A.
  • the detection unit 69 detects whether or not the number of feature regions is a minimum number (for example, three or more) necessary for calculating the rotation and translation of the shape measuring apparatus 1.
  • the length in the short direction of the imaging field 210A of the first imaging unit 50A is set to h, and the center of the field of view is set to Q.
  • the visual field center Q exists inside a circular search region P having a diameter h centered on the characteristic region A00, the characteristic region A00 is always captured. It can be determined that it is included in 210A.
  • the detection unit 69 sets a search area P having a diameter h centered on each of the characteristic areas A01 to A04 and the textures A05 to A09.
  • the search area P may be set from the center of the entire texture, or the search area P may be set around any characteristic part in the texture.
  • a portion of the surface of the measurement object 2 that is covered with the plurality of search regions P is a portion in which the imaging visual field 210A always includes a feature region or a texture (a feature region in the texture).
  • FIG. 10A a region 2P that is not covered by a plurality of search regions P is detected.
  • This region 2P is a region where none of the feature regions A01 to A04 and textures A05 to A09 are included in the imaging field of view 210A.
  • the three-dimensional data calculated by arranging the field of view center Q in this region 2P is The three-dimensional data of other regions on the measurement object 2 cannot be connected.
  • the user is notified of information (attachment information) regarding a position to which a new feature region is to be added (step S05).
  • the display control unit 67 highlights the area 2P on the display area 70a in order to notify the user of the position of the new feature area on the measurement object 2.
  • the sound output control unit 68 outputs sound information for prompting the user to place the marker MC as a new feature region in the region 2P from the sound output device 80. As a result, the user is notified of information that the marker MC should be placed in the area on the measurement object 2 corresponding to the area 2P.
  • the calculation unit 65 notifies the user to select whether to repeat steps S01 to S05 again or to move to shape measurement without performing these steps.
  • This notification is performed, for example, by displaying on the display device 70.
  • the user may arrange the marker MC on the measurement object 2 according to the information notified in step S05, for example, and repeat steps S01 to S05 again. Further, the user may repeat steps S01 to S05 again without arranging the marker MC. Also, the user may place the marker MC, but may move to the next step without performing steps S01 to S05.
  • step S06 YES
  • the user performs the shutter operation of the second imaging unit 50B after placing the marker MC at the location notified in step S05.
  • the control unit 62 uses the second imaging unit 50B to acquire a wide-field reference image Im2, which is a still image of the entire measurement object 2, as illustrated in FIG. To do.
  • the display control unit 67 displays the acquired wide-field reference image Im2 on the display area 70a of the display device 70.
  • the detection unit 69 detects a feature region included in the acquired wide-field reference image Im2.
  • the detection unit 69 detects, as a feature region, a region that is included in the wide-field reference image Im2 and that can be distinguished from other regions by a change in luminance based on a change in the shape of the measurement target 2.
  • the detection unit 69 detects four corners of the newly placed marker MC as feature regions in addition to the feature regions A01 to A04 and textures A05 to A09.
  • the detection unit 69 uses the wide-field reference image Im2 to detect whether or not there is a part that does not include a feature region in the imaging field 210A, as in step S04 described above. Specifically, as shown in FIG. 11B, the detection unit 69 sets a search region P having a diameter h centered on each of the feature regions A01 to A04, the textures A05 to A09, and the marker MC, It is detected whether or not the entire measurement object 2 is covered with the search region P.
  • the search area P may be set from the center of the marker MC, or the search area P may be set around any one of the four corners of the marker MC that is the characteristic area. In FIG.
  • the entire surface of the measuring object 2 is covered with a plurality of search regions P.
  • the field of view center Q of the imaging field of view 210A is arranged in the plurality of search regions P and imaged, any one of the feature regions A01 to A04, the textures A05 to A09, and the feature region of the marker MC is included in the imaged result. Will be included. Therefore, when the entire measurement object 2 is covered with the search area P, the number of feature areas calculates the rotation and translation of the shape measurement apparatus 1 regardless of which part of the measurement object 2 is imaged. Therefore, since the minimum number (for example, three or more) necessary for the measurement, the connection between the three-dimensional data as the measurement results does not fail, and the measurement results can be reliably connected.
  • FIG. 12 is a diagram illustrating an example of a positional relationship between the measurement object 2 and the shape measuring apparatus 1 in the measurement method.
  • the user places the shape measuring device 1 at the first position A1 shown in FIG. 12 and captures an image of the first part of the measurement object 2.
  • the user moves the shape measuring device 1 to the + Y side, places the shape measuring device 1 at the second position A2 shown in FIG. 6, and takes an image of the second portion.
  • the positional relationship between the measurement object 2 and the imaging unit 50 changes relatively.
  • the changeover switch of the operation unit 61 is operated to switch to imaging by the first imaging unit 50A.
  • the control unit 62 causes the first imaging unit 50A to capture the reference image of the measurement object 2 using natural light at a predetermined frame rate.
  • the display control part 67 displays the reference image imaged by 50 A of 1st imaging parts on the display area 70a as a live view image. The user performs a shutter operation from this state.
  • the control unit 62 When the shutter operation is performed, the control unit 62 outputs a command signal to the light generation unit 20 and the scanning unit 40, and includes four types of measurement objects 2 (hereinafter, referred to as a first portion).
  • the fringe pattern P (see FIGS. 5A to 5D) is projected, and the CCD camera 52a captures the measurement images of the first part of the measurement object 2 on which the respective fringe patterns P are projected.
  • the calculating part 65 produces
  • the first point group DM is three-dimensional data related to the three-dimensional shape of the first part, and includes point group data.
  • the calculation unit 65 acquires a reference image Im3 that is a still image of the first portion by the imaging unit 50, as illustrated in FIG.
  • the display control unit 67 displays the acquired reference image Im3 on the display area 70a of the display device 70, for example, for a predetermined time.
  • the detection unit 69 detects a feature region in the acquired reference image Im3. As shown in FIG. 13A, the detection unit 69 detects the feature region A02 and the feature regions A051 to A053 and A061 to A063 in the textures A05 and A06.
  • the user images the second part of the measurement object 2 while moving the shape measuring apparatus 1.
  • the user places the feature region A02 in the first part of the measurement object 2 detected at the first position A1 and the feature regions A051 to A053 of the textures A05 and A06 in the imaging field 210A of the first imaging unit 50A.
  • the shape measuring apparatus 1 is moved so that the same characteristic area as A061 to A063 is included in the minimum necessary number (for example, three) for calculating the rotation and translation of the shape measuring apparatus 1.
  • a position after the shape measuring apparatus 1 is moved is defined as a position A2.
  • the texture A06 having the three characteristic regions A061 to A063 common to the first part can be imaged.
  • the control unit 62 receives a signal indicating that the shutter operation has been performed from the operation unit 61.
  • the distance from the second portion may be measured, and the projection optical system 30 and the imaging lens 51 may be focused.
  • the control unit 62 When the shutter operation is performed, the control unit 62 outputs a command signal to the light generation unit 20 and the scanning unit 40 to project four types of fringe patterns P on the second portion of the measurement object 2, and thereby each fringe.
  • the measurement images of the second part on which the pattern P is projected are each picked up by the CCD camera 52a.
  • the calculation unit 65 generates the second point group DN as the three-dimensional data of the second portion based on the four types of measurement images.
  • the second point group DN is three-dimensional data regarding the three-dimensional shape of the second portion, and includes point group data.
  • the calculation unit 65 acquires a reference image Im4 that is a still image of the second portion by the imaging unit 50, as illustrated in FIG. 13B.
  • the display control unit 67 displays the acquired reference image Im4 on the display area 70a of the display device 70 for a predetermined time, for example.
  • the detection unit 69 detects a feature region in the acquired reference image Im4. As shown in FIG. 13B, the detection unit 69 detects the feature regions A061 to A063 of the texture A06, as well as the three feature regions A071, A072 and A073 (not shown) of the texture A07. Is done. Thereafter, a plurality of three-dimensional data (point cloud data) related to the three-dimensional shape is acquired for each part of the entire measuring object 2 by the same procedure, and still images (reference images) of the respective parts are acquired.
  • point cloud data three-dimensional data related to the three-dimensional shape
  • the calculation unit 65 connects the acquired first point group DM of the first part and second point group DN of the second part so that the shape of the measurement object 2 is restored.
  • the three-dimensional coordinates corresponding to the feature areas A061 to A063 of the texture A06 among the acquired feature areas are set to m061 to m063, respectively.
  • the three-dimensional coordinates corresponding to the feature areas A61 to A063 of the texture A06 among the acquired feature areas are set to n061 to n063, respectively.
  • a rotation Ra and a translation ta representing the displacement of the shape measuring apparatus 1 are calculated.
  • Specific calculation methods include academic papers (eg, S. Umeyama, "Least-squares estimation of transformation parameters between two point patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.4, pp. 376-380, 1991.) and publicly-known publications can be used.
  • the calculation unit 65 converts the three-dimensional coordinates m constituting the first point group DM acquired at the first position according to the following [Expression 1] conversion formula, so that when viewed from the second position, It can be converted into three-dimensional coordinates m ′.
  • the feature regions A061 to A063 are overlapped with each other, and the first point group DM and the second point group DN are connected. And the shape of the measuring object 2 is measured by the measurement part 71 based on the connected point cloud data.
  • each of the first portion image and the second portion image includes a sufficient number of feature regions for calculating the rotation and translation of the shape measuring apparatus 1.
  • the shape measuring apparatus 1 is configured so that a predetermined number of common feature regions (for example, three markers) are included. Since it was possible to calculate the rotation and translation of the shape measuring apparatus 1 by moving, it was possible to link the three-dimensional data.
  • the feature areas A01 to A04 and the textures A05 to A09 of the measurement object 2 are determined based on the entire wide-field reference image Im1 of the measurement object 2 imaged by the second imaging unit 50B.
  • the detection result detected by the detection unit 69 information indicating that there is a part where the characteristic area does not exist in the imaging field of view 210A on the measurement object 2, and information regarding the position where the marker MC is added as a new characteristic area
  • the notification area 85 (display device 70, audio output device 80, etc.) notifies the user of the feature area information such as, and the user may place the mark MC in accordance with the notification. Accordingly, when a part of the measurement object 2 is imaged by the first imaging unit 50A, the captured images of the plurality of measurement objects 2 can be connected with high accuracy. In addition, the three-dimensional data to be measured can be accurately measured.
  • the first imaging unit 50A and the second imaging unit 50B that image the measurement object 2, and the second imaging unit.
  • a detection unit 69 that detects a feature region of the measurement target 2 based on the image of the measurement target 2 imaged in 50B, and a notification unit 85 that notifies the user of feature region information based on the result detected by the detection unit 69 ( 70, 80) and a measurement unit 71 that calculates the three-dimensional shape of the measurement object 2 based on the images of the plurality of measurement objects 2 imaged by the first imaging unit 50A.
  • an index can be arranged at an appropriate position on the measurement object 2. Therefore, when the first imaging unit 50A images each part of the measurement object 2, the success rate of the three-dimensional shape measurement including the connection of the three-dimensional data can be improved.
  • FIG. 14 is a diagram illustrating an example of a shape measuring apparatus 1A according to the second embodiment.
  • a configuration in which only the first imaging unit 50A is provided as the imaging unit 50 and the second imaging unit 50B is omitted will be described as an example.
  • Other configurations are the same as those in the first embodiment.
  • a moving image of the measurement object 2 is captured as a reference image.
  • the user moves the shape measuring apparatus 1 so that the imaging visual field 210 ⁇ / b> A covers the entire measurement object 2.
  • the control unit 62 causes the first imaging unit 50A to capture a reference image of the measurement object 2 using natural light at a predetermined frame rate.
  • the arithmetic unit 65 stores the reference image captured in accordance with the movement of the shape measuring apparatus 1 in the image storage unit 66.
  • the display control unit 67 may cause the reference image captured by the first imaging unit 50A to be displayed on the display area 70a of the display device 70 as a live view image.
  • the detecting unit 69 detects a feature region included in the acquired plurality of images.
  • the detection unit 69 detects a region that is included in each acquired image and that can be distinguished from other regions by a change in luminance based on a change in the shape of the measurement target 2 as a feature region.
  • the detection unit 69 has fewer feature regions than the minimum number (for example, three) necessary for calculating the rotation and translation of the shape measuring apparatus 1 in the plurality of images. Detect the location. When such a location is detected, the user is notified of information regarding the position to which a new feature region is to be added.
  • the location in order to notify the user of the position of the new feature region on the measurement object 2, the location may be highlighted on the display device 70, and the audio output device 80. Therefore, voice information for prompting the user to place the marker MC as a new feature area in the location may be output to the user.
  • the characteristic region of the measurement object 2 based on the moving image of the measurement object 2 imaged by the first imaging unit 50A. Is detected by the detection unit 69, and based on the detection result, information indicating that there is a portion having a small feature region in a plurality of images and information regarding a position to which the marker MC as a new feature region is provided are notified to the notification unit 85 ( Since the display device 70 and the audio output device 80) notify the user, the user may arrange the marker MC in accordance with the notification. Thereby, an index can be arranged at an appropriate position on the measurement object 2.
  • the success rate of the three-dimensional shape measurement including the connection of the three-dimensional data can be improved.
  • the second imaging unit 50B is omitted, the user's operation is facilitated, and the size and price can be reduced.
  • the display control unit 67 displays to the user that the marker MC need not be arranged. You may go.
  • voice output control part 68 may output the audio
  • the point that the texture A10 includes at least three characteristic regions is the same as the textures A05 to A09.
  • the marker MC2 when the circular marker MC2 is used as the marker, as shown in FIG. 16B, the marker MC2 is imaged elliptically by the second imaging unit 50B. At this time, the center of the marker MC2 (the center of the search area P set for the marker MC2) is not the center Q1 of the ellipse but a position Q2 that is shifted to the far side in the depth direction.
  • the configuration in which the second imaging unit 50B is mounted on the shape measuring apparatus 1 has been described as an example.
  • the configuration is not limited thereto, and for example, the second imaging unit 50B can measure the shape. It may be provided separately from the device 1. In this case, any configuration may be used as long as the imaging visual field 210B of the second imaging unit 50B can be associated with the imaging visual field 210A of the first imaging unit 50A.
  • an image captured in advance may be stored in the image storage unit 66 or the like, and the feature region may be detected using the image stored in the calculation unit 65 during the measurement operation.
  • the image data stored in the image storage unit 66 is not limited to the imaging data, and may be other image data (eg, CAD data) formed by drawing or the like.
  • the detection unit 65 may perform the following calculation when detecting the position where the marker MC is arranged. For example, the marker MC is randomly arranged in an area not covered by the search area P (denoted as a non-clothing area), and this is repeated until there is no uncovered area. This processing is tried a plurality of times, and an arrangement having the smallest number of markers MC is adopted.
  • the calculation unit 65 may search for the arrangement of the markers MC so that the uncovered area is eliminated with the smallest number by using a heuristic optimization algorithm such as a genetic algorithm.
  • FIG. 17 is a block diagram illustrating an example of an embodiment of a structure manufacturing system.
  • the structure manufacturing system SYS illustrated in FIG. 17 includes the shape measuring device 1 (or the shape measuring device 201), the design device 710, the molding device 720, the control device (inspection device) 730, and the repair device 740. .
  • the design device 710 creates design information related to the shape of the structure. Then, the design device 710 transmits the produced design information to the molding device 720 and the control device 730.
  • the design information is information indicating the coordinates of each position of the structure.
  • the measurement object is a structure.
  • the forming apparatus 720 forms a structure based on the design information transmitted from the design apparatus 710.
  • the molding process of the molding apparatus 720 includes casting, forging, cutting, or the like.
  • the shape measuring devices 1 and 1 ⁇ / b> A measure the three-dimensional shape of the structure (measurement object 2) produced by the forming device 720, that is, the coordinates of the structure. Then, the shape measuring devices 1, 201 transmit information indicating the measured coordinates (hereinafter referred to as shape information) to the control device 730.
  • the control device 730 includes a coordinate storage unit 731 and an inspection unit 732.
  • the coordinate storage unit 731 stores design information transmitted from the design device 710.
  • the inspection unit 732 reads design information from the coordinate storage unit 731. Further, the inspection unit 732 compares the design information read from the coordinate storage unit 731 with the shape information transmitted from the shape measuring devices 1 and 201. And the test
  • the inspection unit 732 determines whether or not the structure molded by the molding device 720 is a non-defective product. Whether or not the structure is a non-defective product is determined based on, for example, whether or not the error between the design information and the shape information is within a predetermined threshold range. If the structure is not molded according to the design information, the inspection unit 732 determines whether the structure can be repaired according to the design information. If it is determined that it can be repaired, the inspection unit 732 calculates a defective portion and a repair amount based on the comparison result. Then, the inspection unit 732 transmits information indicating a defective portion (hereinafter referred to as defective portion information) and information indicating a repair amount (hereinafter referred to as repair amount information) to the repair device 740.
  • defective portion information information indicating a defective portion
  • repair amount information information indicating a repair amount
  • the repair device 740 processes the defective portion of the structure based on the defective portion information and the repair amount information transmitted from the control device 730.
  • FIG. 18 is a flowchart showing processing by the structure manufacturing system SYS, and shows an example of an embodiment of a structure manufacturing method.
  • the design device 710 creates design information related to the shape of the structure (step S31).
  • the design device 710 transmits the produced design information to the molding device 720 and the control device 730.
  • the control device 730 receives the design information transmitted from the design device 710. Then, the control device 730 stores the received design information in the coordinate storage unit 731.
  • the molding apparatus 720 molds the structure based on the design information created by the design apparatus 710 (step S32). Then, the shape measuring devices 1 and 201 measure the three-dimensional shape of the structure formed by the forming device 720 (step S33). Thereafter, the shape measuring devices 1 and 201 transmit shape information that is a measurement result of the structure to the control device 730. Next, the inspection unit 732 compares the shape information transmitted from the shape measuring apparatuses 1 and 201 with the design information stored in the coordinate storage unit 731, and whether the structure has been molded according to the design information. Whether or not is checked (step S34).
  • the inspection unit 732 determines whether or not the structure is a good product (step S35). If it is determined that the structure is a non-defective product (step S35: YES), the process by the structure manufacturing system SYS is terminated. On the other hand, when the inspection unit 732 determines that the structure is not a non-defective product (step S35: NO), the inspection unit 732 determines whether the structure can be repaired (step S36).
  • step S36 determines that the structure can be repaired (step S36: YES)
  • the inspection unit 732 calculates the defective portion of the structure and the repair amount based on the comparison result of step S34. Then, the inspection unit 732 transmits the defective part information and the repair amount information to the repair device 740.
  • the repair device 740 performs repair (rework) of the structure based on the defective part information and the repair amount information (step S37). Then, the process proceeds to step S33. That is, the process after step S33 is performed again with respect to the structure which the repair apparatus 740 performed repair.
  • step S36 determines that the structure can be repaired (step S36: NO)
  • the inspection unit 732 determines whether the structure is manufactured according to the design information. judge. Accordingly, it can be accurately determined whether or not the structure manufactured by the molding apparatus 720 is a non-defective product, and the determination time can be shortened. Further, in the structure manufacturing system SYS described above, when the inspection unit 732 determines that the structure is not a non-defective product, the structure can be repaired immediately.
  • the molding device 720 may execute the processing again instead of the repair device 740 executing the processing.
  • the first direction D1 and the second direction D2 are orthogonal to each other, but are orthogonal if the first direction D1 and the second direction D2 are different directions. You don't have to.
  • the second direction D2 may be set to an angle of 60 degrees or 80 degrees with respect to the first direction D1.
  • each drawing shows one or more optical elements, but unless the number to be used is specified, it is used as long as the same optical performance is exhibited.
  • the number of optical elements to be performed is arbitrary.
  • the light for generating the structured light 101 by the light generation unit 20 or the like is light having a wavelength in the visible light region, light having a wavelength in the infrared region, or light having a wavelength in the ultraviolet region. Either of these may be used.
  • the user can recognize the projection region 200.
  • a red wavelength in the visible light region damage to the measurement object 2 can be reduced.
  • the scanning unit 40 uses an optical element that reflects structured light, but is not limited thereto.
  • a diffractive optical element, a refractive optical element, parallel flat glass, or the like may be used.
  • the structured light may be scanned by vibrating a refractive optical element such as a lens with respect to the optical axis.
  • a refractive optical element such as a lens with respect to the optical axis.
  • a part of the optical elements of the projection optical system 30 may be used.
  • the CCD cameras 52a and 54a are used as the imaging unit 50, but the present invention is not limited to this.
  • an image sensor such as a CMOS image sensor (CMOS: Complementary Metal Oxide Semiconductor) may be used instead of the CCD camera.
  • CMOS Complementary Metal Oxide Semiconductor
  • the 4-bucket method is used in which the phase of the fringe pattern P used in the phase shift method is shifted four times during one period, but is not limited thereto.
  • a 5-bucket method in which one period 2 ⁇ of the phase of the fringe pattern P is divided into 5
  • a 6-bucket method in which the period is also divided into 6 may be used.
  • the phase shift method is used, but the three-dimensional shape of the measurement object 2 may be measured using the spatial code method.
  • the stripe pattern P is expressed in white and black.
  • the present invention is not limited to this, and either one or both may be monochromatic.
  • the stripe pattern P may be generated in white and red.
  • the following method when connecting point cloud data, the following method may be used.
  • the rotation and translation from the shape measuring apparatus 1 to the first part and the second part are calculated.
  • the rotation R1 and the translation t1 from the shape measuring apparatus 1 to the first part are obtained from the correspondence between the calculated first point group DM of the first part and the acquired two-dimensional coordinates of the feature regions A06 to A12.
  • the rotation R2 from the shape measuring apparatus 1 to the second part and the second part group DN by the correspondence between the calculated second point group DN of the second part and the two-dimensional coordinates of the characteristic regions A06 to A12 of the acquired reference image Im2.
  • the translation t2 is calculated.
  • the feature areas A06 to A12 are areas common to the reference image Im1 and the reference image Im2.
  • the calculation method of rotation and translation in this case includes academic papers (eg, V. Lepetit et al. “EPnP: An Accurate O (n) Solution to the PnP Problem”, International Journal Of Computer Vision, vol. 81, p 155-166, 2009.) and publicly known publications can be used.
  • the calculation unit 65 obtains the rotation Ra and the translation ta of the shape measuring apparatus 1 by the following [Equation 2] using the obtained R1, t1, R2, and t2.
  • the rotations R1, R2, and Ra are represented by determinants, and the translations t1, t2, and ta are represented by vectors.
  • the projection unit 10, the imaging unit 50, the arithmetic processing unit 60, the display device 70, and the audio output device 80 are exemplified as a configuration housed in a portable case 90.
  • the present invention is not limited to this.
  • the arithmetic device 60, the display device 70, and the audio output device 80 may not be disposed in the housing 90 and may be installed outside the housing 90.
  • a personal computer including a notebook type and a desktop type
  • the arithmetic processing unit 60 may not be housed in a portable case, and some functions of the arithmetic processing unit 60 (the arithmetic unit, the image storage unit, the display control unit, and the setting information storage) May be provided to an external computer.
  • the present invention is not limited to the portable shape measuring device 1, for example, a measuring machine provided with a three-dimensional measuring unit on an articulated arm, or a three-dimensional measuring unit on a stage on which a measurement object 2 is placed.
  • the present invention can also be applied to a stationary shape measuring apparatus such as a measuring machine configured to be movable.
  • a part of the configuration of the shape measuring apparatus 1 may be realized by a computer.
  • the calculation unit processing unit 60 may be realized by a computer.
  • the computer captures the measurement object 2 in accordance with the shape measurement program stored in the storage unit, and detects the feature region of the measurement object 2 based on the captured image of the measurement object 2. And a process for notifying the user of information based on the detected result and a process for calculating the shape of the measurement object 2 based on the captured images of the plurality of measurement objects 2.
  • natural light is used when a reference image is captured by the first imaging unit 50A or a wide-field reference image is captured by the second imaging unit 50B.
  • an illumination unit that illuminates the measurement object 2 may be provided in the shape measurement apparatus 1, or the measurement object 2 may be illuminated using the projection unit 10.
  • the notification unit 85 outputs at least one of visual information to be displayed on the display device 70 and auditory information to be output from the audio output device 80 as the grant information. It can be configured. Further, it may be one that does not output both visual information and auditory information.
  • the notification unit 85 may output tactile information such that the whole or part of the shape measuring apparatus 1 vibrates or deforms, for example.
  • the notification unit 85 may output tactile information such as vibration to a portion where the user has the shape measuring device 1.
  • the notification unit 85 may output and notify at least one of visual information, auditory information, and tactile information.
  • the detection unit 69 is a region on the measurement object 2 and has a feature region such as a corner portion or an upper surface pattern whose luminance changes with respect to other regions.
  • a marker arranged on the measurement object 2 may be detected as a feature region (first feature region or second feature region).
  • each of the textures A05 to A09 includes at least three feature regions, but is not limited to this, and may include one or two feature regions.
  • the feature areas A061 to A063 of the texture A06 are shown, but other parts may be used as the feature areas.
  • the images may be captured so that any one of the textures enters the imaging field of view 210A.
  • step S03 the relative positional relationship between the imaging field 210A of the first imaging unit 50A and the imaging field 210B of the second imaging unit 50B is obtained in step S03, but this step S03 may be omitted.
  • the control unit 62 does not detect the feature region from the live view image L2 by the detection unit 69, and does not calculate the relative positional relationship between the imaging visual field 210A and the imaging visual field 210B. Further, the display device 70 does not display the imaging field of view 210 ⁇ / b> A so as to overlap as shown in FIG. 8B. Since there is no step S03, the control unit 62 can proceed with the processing after step S04, and the time required for the shape measurement can be shortened.
  • the detection unit 69 may detect even a feature region having a low contrast. In this case, a region different from the feature region is erroneously detected as the feature region, which contributes to a decrease in the success rate of the connection of the three-dimensional data.
  • the detection unit 69 (calculation unit 65) determines whether or not the contrast of each feature region is high enough to be distinguished from other regions, and if it is high, uses the feature region as a feature region. You may do that. Thereby, compared with the case where it is based only on the number of feature regions, an effective feature region is used, so that the success rate of the connection of three-dimensional data can be improved.
  • the detection unit 69 (calculation unit 65) obtains the distribution of the feature regions, and the feature regions are gathered in a narrow range from this distribution, and the feature regions are arranged on a straight line. For example, it may be determined whether or not the shape measurement apparatus 1 can be calculated for rotation and translation, and whether or not three-dimensional data can be linked using each feature region.
  • the detection unit 69 determines that calculation or connection is impossible, the user changes the imaging position of the measurement object 2 so as to change the distribution of the feature region and takes an image. By using this new reference image, the success rate of the connection of three-dimensional data can be improved. Note that the detection unit 69 may determine whether rotation and translation of the shape measurement apparatus 1 and connection of three-dimensional data are possible for each new reference image using each feature region.
  • the notification to the user is that the number of feature regions on the measurement object 2 within the imaging field of view 210A is less than the number necessary for calculating the rotation and translation of the shape measuring apparatus 1.
  • Each feature region is not high enough to be distinguished from other regions, and each feature region is arranged in a straight line. It may include at least one of not being distributed so that it can be calculated.
  • the user can confirm that, for example, the number of feature areas is smaller than the minimum necessary for calculating the rotation and translation of the shape measuring apparatus 1, and the contrast of each feature area is different from that of other areas.
  • the feature areas are not so high that they can be identified, or the feature areas are not distributed so that the rotation and translation of the shape measuring apparatus 1 can be calculated. , Etc. can be judged.
  • the shape measuring device 1 is provided for each of the first portion image and the second portion image in which the relative positions of the measurement object 2 and the shape measuring device 1 are changed.
  • a sufficient number of feature portions are required to calculate rotation and translation, but the number of feature portions may be the number of feature portions having a range such as a shape and contrast that can be detected by the detection unit 69. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】三次元データ同士の連結を含めた三次元形状測定の成功率を向上させること。 【解決手段】測定対象物の三次元形状を測定する三次元測定装置において、測定対象物を撮像する撮像部と、撮像部で撮像された測定対象物の画像に基づいて測定対象物の特徴領域を検出する検出部と、検出部で検出した結果に基づく特徴領域情報をユーザに通知する通知部と、撮像部で撮像された複数の測定対象物の画像に基づいて、測定対象物の三次元形状を算出する測定部と、を備えることを特徴とする。

Description

三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム
　本発明は、測定装置、測定方法、構造物製造システム、構造物製造方法、及び測定プログラムに関する。
　測定対象物の三次元形状を測定する手法として、例えば位相シフト法が知られている。位相シフト法を用いた形状測定装置は、投影部、撮像部、及び制御部を備えている。この投影部は、正弦波状の光強度の分布を有する縞状のパターン光（以下、構造光という。）を測定対象物に投影する。この際、撮像部は、４種類の異なる位相の構造光がそれぞれ測定対象物に投影されるときに、それぞれ測定対象物を撮像して４つの位相画像を取得する。制御部は、撮像部が撮像した４つの画像における各画素の信号強度に関するデータを所定の演算式に当てはめ、測定対象物の面形状に応じた各画素における縞の位相値を求める。そして、演算部は、三角測量の原理を利用して、各画素における縞の位相値から測定対象物の三次元データ（例えば、点群データ）を算出する。この位相シフト法を利用した装置は、例えば、特許文献１に開示されている。
　上記の場合において、例えば測定対象物が撮像部の撮像視野に収まらないときには、測定対象物の異なる位置をそれぞれ測定して算出した、各三次元データを連結することで測定対象物全体の三次元形状を測定することができる。三次元データの連結は、例えば三次元データの一部同士を重ねあわせて行う。また、三次元データの一部同士を重ね合わせる際には、測定対象物上の同じ領域に対応する三次元データ同士を重ね合わせる。
　形状測定装置が持ち運び可能なように可搬性を有する場合、三次元データの一部同士を重ね合わせる処理では、まず形状測定装置を第１位置に配置して測定対象物の第１部分の画像を撮像する。次に形状測定装置を第２位置に移動して第１部分の画像と一部が重なるように第２部分の画像を撮像し、それぞれ三次元データを算出する。第２部分を撮像する際には、第１部分の画像と第２部分の画像とが、測定対象物上における共通の特徴領域を互いに含むようにする。この特徴領域は、例えば第１部分の画像及び第２部分の画像の各画像内の領域であって、他の領域に対して輝度（信号強度）が変化していることにより識別可能な領域である。この場合、輝度（信号強度）の変化は、測定対象物の形状や表面の光反射率等の変化等に基づくものである。次に、測定対象物上の特徴領域の三次元データ同士について、撮像位置からの回転及び並進をそれぞれ求める。この結果から第１位置と第２位置との間で変化した形状測定装置の回転及び並進を算出する。そして、算出した回転及び並進を用いて、第１部分の三次元データと第２部分の三次元データの少なくとも一方を変換し、第１位置又は第２位置の一方を基準とした三次元データ同士とする。これにより、第１部分の三次元データと第２部分の三次元データとを連結することができる。
　このような処理を行う場合には、必要に応じて、予め測定対象物上にマーカなどの指標を配置し、撮像部において測定対象物と指標とを合わせて撮像する場合がある。これにより、指標が配置された領域を特徴領域として三次元データ同士を連結することができる。従来は、三次元データを連結しにくそうな箇所を作業者が判断して指標を配置するようにしていた。
米国特許第５４５０２０４号明細書
　しかしながら、三次元データを連結しにくそうな箇所を判断することは困難なため、三次元データ同士の点群連結を含めた三次元形状測定が失敗することが多かった。
　以上のような事情に鑑み、本発明は、三次元データ同士の点群連結を含めた三次元形状測定の成功率を向上させることを目的とする。
　本発明の第１態様によれば、測定対象物の三次元形状を測定する三次元形状測定装置において、測定対象物を撮像する撮像部と、撮像部で撮像された測定対象物の画像に基づいて測定対象物の特徴領域を検出する検出部と、検出部で検出した結果に基づく特徴領域情報をユーザに通知する通知部と、撮像部で撮像された複数の測定対象物の画像に基づいて、測定対象物の三次元形状を算出する測定部と、を備えることを特徴とする三次元形状測定装置が提供される。
　本発明の第２態様によれば、測定対象物の三次元形状を測定する測定方法において、測定対象物を撮像することと、撮像された測定対象物の画像に基づいて測定対象物の特徴領域を検出することと、検出された結果に基づく特徴領域情報をユーザに通知することと、撮像された複数の測定対象物の画像に基づいて、測定対象物の三次元形状を算出することと、を含むことを特徴とする三次元形状測定方法が提供される。
　本発明の第３態様によれば、構造物の形状に関する設計情報を作製する設計装置と、設計情報に基づいて構造物を作製する成形装置と、作製された構造物の三次元形状を測定する第１態様の三次元形状測定装置と、測定装置によって得られた構造物の三次元形状に関する形状情報と設計情報とを比較する検査装置と、を含むことを特徴とする構造物製造システムが提供される。
　本発明の第４態様によれば、構造物の形状に関する設計情報を作製することと、設計情報に基づいて構造物を作製することと、作製された構造物の三次元形状を測定する第２態様の三次元形状測定方法と、測定方法によって得られた構造物の三次元形状に関する形状情報と設計情報とを比較することと、を含むことを特徴とする構造物製造方法が提供される。
　本発明の第５態様によれば、測定対象物の三次元形状を測定する三次元形状測定装置に含まれるコンピュータに、測定対象物を撮像する処理と、撮像された測定対象物の画像に基づいて測定対象物の特徴領域を検出する処理と、検出された結果に基づく特徴領域情報をユーザに通知する処理と、撮像された複数の測定対象物の画像に基づいて、測定対象物の三次元形状を算出する処理と、を実行させることを特徴とする測定プログラムが提供される。
　本発明の態様によれば、三次元データ同士の連結を含めた三次元形状測定の成功率を向上させることができる。
第１実施形態に係る形状測定装置の一例を示す図である。 図１に示す形状測定装置の詳細構成の一例を示すブロック図である。 投影領域における構造光の強度分布を示す図である。 投影領域と撮像視野との関係を示す図である。 測定対象物のない平面に各位相の縞パターンが投影された状態を示す図である。 形状測定装置の動作を説明しつつ、測定方法の一例について説明するフローチャートである。 形状測定装置の動作の一例を示す図である。 形状測定装置の動作の一例を示す図である。 形状測定装置における処理内容を模式的に示す図である。 （ａ）は形状測定装置における処理内容を模式的に示す図、（ｂ）は形状測定装置の動作の一例を示す図である。 （ａ）は形状測定装置の動作の一例を示す図である、（ｂ）は形状測定装置における処理内容を模式的に示す図。 測定対象物と形状測定装置との位置関係の一例を示す図である。 形状測定装置の動作の一例を示す図である。 第２実施形態に係る形状測定装置の一例を示す図である。 形状測定装置の動作の一例を示す図である。 変形例に係る形状測定装置の動作の一例を示す図である。 構造物製造システムの実施形態の一例を示すブロック図である。 構造物製造方法の実施形態の一例を示すフローチャートである。
　＜第１実施形態＞　
　図１は、第１実施形態に係る形状測定装置の一例を示す図である。なお、図１において、紙面の右方向をＸ軸とし、Ｘ軸と直交するある方向をＹ軸とし、Ｘ軸及びＹ軸と直交する方向をＺ軸としている。形状測定装置１は、位相シフト法を用いて測定対象物２の三次元形状を測定する装置である。形状測定装置１は、図１に示すように、投影部１０と、撮像部５０と、演算処理部６０と、表示装置７０と、音声出力装置８０と、筐体９０とを備える。形状測定装置１は、投影部１０、撮像部５０、演算処理部６０、表示装置７０及び音声出力装置８０が持ち運び可能な筐体９０に収容された構成となっている。
　投影部１０は、第１の方向Ｄ１（図１のＸ軸方向）に沿った投影光１００を生成する。そして、投影部１０は、生成した投影光１００を第１の方向とは異なる第２の方向Ｄ２に沿って走査することにより、投影領域２００に対して構造光１０１を投影する。第１実施形態の構造光１０１は、位相シフト法で用いる構造光である。本実施形態において、第２の方向Ｄ２は、図１のＹ軸方向に沿う方向であり、第１の方向Ｄ１と直交する方向である。なお、構造光１０１、投影領域２００、及び特徴領域の詳細については後述する。
　撮像部５０は、測定対象物２を撮像する。撮像部５０は、投影部１０の位置と異なる位置に配置されている。撮像部５０は、投影光１００が投影された測定対象物２を、投影部１０による投影方向とは異なる方向から撮像する。撮像部５０は、第１撮像部５０Ａ及び第２撮像部５０Ｂを有している。第１撮像部５０Ａは、例えば構造光１０１が投影された測定対象物２の像（以下、「測定像」と表記する。）を撮像する。また、第１撮像部５０Ａは、測定像とは別個に例えば自然光による測定対象物２の像（以下、「参照像」と表記する。）を撮像する。参照像は、静止画像及びライブビュー画像を含む。本実施形態において、第１撮像部５０Ａは、長方形の所定の撮像視野２１０Ａで撮像する。第２撮像部５０Ｂは、第１撮像部５０Ａの撮像視野２１０Ａよりも広い長方形の撮像視野２１０Ｂで測定対象物２を撮像する。撮像視野２１０Ｂは、測定対象物２の全体が収まるように設定されている。なお、撮像視野２１０Ａ及び撮像視野２１０Ｂについては、長方形に限定するものではなく、円形や楕円形等の他の形状であってもよい。また、以下の説明において、第２撮像部５０Ｂによって撮像される画像を「広視野参照像」と表記する。本実施形態において、撮像視野２１０Ｂは、撮像視野２１０Ａに対して大きい（広い）が、撮像視野２１０Ａと撮像視野２１０Ｂとが同一またはほぼ同一であってもよい。
　演算処理部６０は、投影部１０、撮像部５０、演算処理部６０、表示装置７０及び音声出力装置８０の動作を制御する。また、演算処理部６０は、自然光による測定対象物２の像を撮像するように撮像部５０を制御する。また、演算処理部６０は、撮像部５０が撮像した画像データにおける各画素の輝度データ（信号強度）に基づいて、測定対象物２の三次元形状を算出する。
　次に、図２を参照して形状測定装置１に含まれる投影部１０、撮像部５０、及び演算処理部６０の詳細な構成について説明する。図２は、図１に示す形状測定装置１の詳細構成の一例を示すブロック図である。図１に示すように３軸座標系を設定した場合、図２においては、紙面の右方向がＸ軸となり、紙面の上方向がＺ軸となり、紙面の裏から表に向かう方向がＹ軸となる。図２に示すように、投影部１０は、光生成部２０、投影光学系３０、及び走査部４０を有している。
　光生成部２０は、投影光１００を生成する。光生成部２０は、レーザコントローラ２１及びレーザダイオード２２を含む。レーザコントローラ２１は、制御部６２からの指令信号に基づいてレーザダイオード２２によるレーザ光の照射を制御する。レーザダイオード２２は、レーザコントローラ２１からの制御信号に基づいてレーザ光を照射する光源である。レーザダイオード２２は、例えば赤色光を射出する赤色レーザダイオードと、緑色光を射出する緑色レーザダイオードと、青色光を射出する青色レーザダイオードとを有している。
　投影光学系３０は、光生成部２０で生成された投影光１００を投影する。投影光学系３０から出射された投影光１００は、走査部４０を介して測定対象物２または測定対象物２の近傍に向けて投影される。投影光学系３０は、一つまたは複数の透過光学素子または反射光学素子によって構成される。
　走査部４０は、投影光学系３０から出射された投影光１００を、例えば、ミラー等の反射光学素子を用いて反射し、その反射角を変化させることにより投影光１００を第２の方向Ｄ２（図２のＹ軸方向）に走査する。走査部４０を構成する反射光学素子の一例として、静電気でミラーを共振させて投影光１００の反射角を変化させるＭＥＭＳ（Micro Electro Mechanical Systems）ミラーが用いられる。第２の方向Ｄ２は、第１の方向Ｄ１（図２のＸ軸方向）と異なる測定対象物２上の方向である。例えば、第１の方向Ｄ１と第２の方向Ｄ２とは直交している。
　ＭＥＭＳミラーによる第２の方向Ｄ２の走査幅（つまり、投影領域２００における第２の方向Ｄ２の長さ）は、ＭＥＭＳミラーの振動方向における振幅によって決定される。また、ＭＥＭＳミラーにより投影光１００が第２の方向Ｄ２に走査される速度は、ＭＥＭＳミラーの角速度（つまり、共振周波数）によって決定される。また、ＭＥＭＳミラーを振動させることにより、投影光１００を往復して走査可能となる。投影光１００の走査の開始位置は任意である。例えば、投影領域２００の端から投影光１００の走査が開始されるほかに、投影領域２００の略中央付近から走査が開始されてもよい。
　図３は、投影領域２００における構造光１０１の強度分布を示す図である。図１に示すような３軸座標系を設定した場合、図３においては、紙面の右方向がＹ軸となり、紙面の上方向がＸ軸となり、紙面の裏から表に向かう方向がＺ軸となる。
　図３に示すように、投影光１００は、第１の方向Ｄ１に所定の長さを有するスリット状の光である。投影光１００は、第２の方向Ｄ２に所定の距離にわたって走査されることで矩形状の投影領域２００を形成する。投影領域２００は、構造光１０１が投影される領域であり、第１の方向Ｄ１と第２の方向Ｄ２とで規定される領域である。投影領域２００は、測定対象物２の一部または全部を含んでいる。
　図３に示す構造光１０１は、第２の方向Ｄ２に沿って周期的な光強度の分布を有するパターン光である。第１実施形態では、構造光１０１の一例として、第２の方向Ｄ２に沿って正弦波状の周期的な光強度の分布を有する縞パターンＰが用いられる。縞パターンＰは、例えば投影光１００の波長を所定波長（例、約６８０ｎｍ）として、投影光１００の光強度を周期的に変化させつつ第２の方向Ｄ２に走査することで形成される。縞パターンＰは、明るい部分（図３の白い部分）と暗い部分（図３の黒い部分）とが第２の方向Ｄ２に沿って変化する明暗パターンを有する。また、縞パターンＰは、濃い部分（図３の黒い部分）と薄い部分（図３の白い部分）とが徐々に変化する濃淡パターンとも表現される。また、縞パターンＰは、格子状のパターンであるから格子パターンとも表現される。また、第２の方向Ｄ２を明暗の方向または濃淡の方向、格子の方向ともいう。
　続いて、図２に示すように、第１撮像部５０Ａは、結像光学系５１及び撮像装置５２を有している。結像光学系５１は、測定対象物２の表面において、投影光１００が投影された部分を含む領域の像及び参照像を撮像装置５２の撮像面に結像させる光学系である。結像光学系５１は、例えば複数のレンズが用いられる。撮像装置５２は、結像光学系５１によって結像された像に基づいて測定対象物２の画像データを生成するとともに、生成した画像データを記憶する。
　撮像装置５２は、ＣＣＤカメラ５２ａ及び画像メモリ５２ｂを含む。ＣＣＤカメラ５２ａは、電荷結合素子(Charge Coupled Device）を用いたカメラである。ＣＣＤカメラ５２ａにより生成される画像データは画素毎の信号強度データによって構成される。例えば、画像データは５１２×５１２＝２６２１４４画素の信号強度データで構成される。画像メモリ５２ｂは、ＣＣＤカメラ５２ａが生成した画像データを記憶する。
　第２撮像部５０Ｂは、結像光学系５３及び撮像装置５４を有している。結像光学系５３は、例えば測定対象物２の広視野参照像を撮像装置５４の撮像面に結像させる光学系であるが、これに限定するものではなく、第１撮像部５０Ａの結像光学系５１よりも広い範囲を撮像可能な構成であればよい。結像光学系５３は、例えば複数のレンズが用いられる。撮像装置５４は、結像光学系５３によって結像された像に基づいて測定対象物２の画像データを生成するとともに、生成した画像データを記憶する。
　撮像装置５４は、ＣＣＤカメラ５４ａ及び画像メモリ５４ｂを含む。ＣＣＤカメラ５４ａは、電荷結合素子(Charge Coupled Device）を用いたカメラである。ＣＣＤカメラ５４ａは、第１撮像部５０ＡのＣＣＤカメラ５２ａに比べて、画素数が多くなっている。例えば、ＣＣＤカメラ５４ａの画素数は、ＣＣＤカメラ５４ａで撮像された画像のうちＣＣＤカメラ５２ａの撮像視野２１０Ａと等しい範囲を拡大した場合に、ＣＣＤカメラ５２ａの画素数とほぼ等しくなるように設定される。また、ＣＣＤカメラ５４ａの画素数は、ＣＣＤカメラ５２ａの撮像視野２１０Ａと等しい範囲を拡大した場合に、ＣＣＤカメラ５２ａの画素数より多くてもよく、また少なくてもよい。
　図４（ａ）は、投影領域と撮像視野との関係を示す図である。図４（ａ）を用いて、第１撮像部５０Ａの撮像視野２１０Ａ及び第２撮像部５０Ｂの撮像視野２１０Ｂについて簡単に説明する。図１に示すように３軸座標系を設定した場合、図４（ａ）においては、紙面の右方向がＹ軸となり、紙面の上方向がＸ軸となり、紙面の裏から表に向かう方向がＺ軸となる。
　図４（ａ）に示すように、第１撮像部５０Ａの撮像視野２１０Ａは、第１撮像部５０Ａにより撮像される測定対象物２の領域を示している。本実施形態において、この撮像視野２１０Ａは、長方形であり、投影領域２００は、撮像領域２１０Ａよりも広い領域である。なお、撮像視野２１０Ａは投影領域２００と同じ広さの領域であってもよいし、撮像視野２１０Ａは投影領域２００よりも大きな領域であってもよい。
　なお、投影領域２００が撮像視野２１０Ａより大きいとき、投影光１００は、撮像視野２１０Ａの外側（すなわち撮像視野の外側）から走査が開始される場合と、撮像視野２１０Ａ内（すなわち撮像視野内）から走査が開始される場合と、のいずれであってもよい。
　また、本実施形態において、第２撮像部５０Ｂの撮像視野２１０Ｂは、長方形であり、第２撮像部５０Ｂにより撮像される測定対象物２の領域を示している。撮像視野２１０Ｂは、測定対象物２の全体を含むように設定される。撮像視野２１０Ｂは、第１撮像部５０Ａの撮像視野２１０Ａよりも広くなっている。
　測定対象物２上またはその周囲には、マーカＭＣなどの指標が１つ又は複数配置される場合がある。複数のマーカＭＣが配置される場合には、マーカＭＣ同士が識別可能なように外観が互いに異なるように形成されたマーカが使用される。
　図４（ｂ）は、マーカＭＣの一例を示す図である。
　図４（ｂ）に示すように、マーカＭＣは、３行×３列のマトリクス状に配置された矩形パターンＳを有している。矩形パターンＳは、着色領域Ｓ１及び非着色領域Ｓ２を有している。非着色領域Ｓ２は、例えば何も配置されていない領域である。図４（ｂ）に示す矩形パターンＳは、５つの着色領域Ｓ１と４つの非着色領域Ｓ２とを有している。着色領域Ｓ１の色は例えば黒色である。着色領域Ｓ１の配置を変えることにより、他のマーカＭＣと識別可能となる。また、マーカＭＣは、特徴領域として少なくとも４つの角部を含んでいる。また、マーカＭＣは、着色領域Ｓ１の角部が特徴領域となる場合もある。
　続いて、図２に示すように、演算処理部６０は、操作部６１、制御部６２、設定情報記憶部６３、取込メモリ６４、演算部６５、画像記憶部６６、表示制御部６７及び音声出力制御部６８を含んでいる。　
　操作部６１は、ユーザの操作に応じた操作信号を制御部６２に出力する。この操作部６１は、例えば、ユーザによって操作されるボタン、スイッチである。具体的には、シャッターや、第１撮像部５０Ａによる撮像と第２撮像部５０Ｂによる撮像とを切り替えるスイッチなどが挙げられる。また、表示装置７０には例えばタッチパネルが形成されている。このタッチパネルも操作部６１として用いられる。
　制御部６２は、光生成部２０と、走査部４０と、撮像部５０とを制御する。制御部６２は、光生成部２０を制御する。制御部６２は、設定情報記憶部６３に記憶されているプログラムに従って次の制御を実行する。
　制御部６２は、走査部４０及びＣＣＤカメラ５２ａに指令信号を出力し、ＣＣＤカメラ５２ａによる測定対象物２の撮像が、走査部４０による縞パターンＰの走査に同期するように制御する。また、制御部６２は、ＣＣＤカメラ５２ａによる１フレームの撮像と、縞パターンＰの複数回の走査とを同期させるように制御する。また、制御部６２は、ＣＣＤカメラ５２ａを単独で制御することが可能である。この場合、制御部６２の制御により、ＣＣＤカメラ５２ａは、自然光による測定対象物２の参照像を所定のフレームレートで撮像する。また、制御部６２は、ＣＣＤカメラ５４ａを制御する。この場合、制御部６２の制御により、ＣＣＤカメラ５４ａは、自然光による測定対象物２の広視野参照像を撮像する。
　制御部６２は、レーザコントローラ２１に指令信号を出力することにより、レーザダイオード２２から赤色光、青色光及び緑色光を組み合わせた所望のレーザ光を照射可能である。また、制御部６２は、レーザコントローラ２１に指令信号を出力することにより、レーザダイオード２２から照射されるレーザ光の光強度を調整可能である。制御部６２は、縞パターンＰを測定対象物２に投影する場合、例えばレーザコントローラ２１と走査部４０とを同期制御することにより、所定波長の投影光１００の光強度を周期的に変化させつつ該投影光１００を第２の方向Ｄ２に走査する。
　走査部４０を構成するＭＥＭＳミラーの周波数は、例えば５００Ｈｚ（ＭＥＭＳミラーの振動周期は往復２ｍｓ）に設定される。また、ＣＣＤカメラ５２ａのシャッタースピード（ＣＣＤカメラ５２ａの露光時間）は例えば４０ｍｓに設置される。従って、ＣＣＤカメラ５２ａが１枚の画像を撮像する間に、走査部４０は投影光１００を投影領域２００に４０回走査（２０回往復走査）する。制御部６２は、ＣＣＤカメラ５２ａによる１フレームの撮像の間に、例えば走査部４０により、投影光１００を２０回往復させるように制御を行う。ただし、ＣＣＤカメラ５２ａによる１フレームの撮像において、投影光１００を何往復走査させるかは、任意に設定可能である。例えば、ＣＣＤカメラ５２ａのシャッタースピードの調整や、ＭＥＭＳミラーの周波数の調整により、１フレームの撮像で取り込む投影光１００の走査数は調整される。
　設定情報記憶部６３は、制御部６２に制御を実行させるためのプログラムを記憶する。また、設定情報記憶部６３は、演算部６５に対して、三次元形状の演算処理を実行させるためのプログラムを記憶する。設定情報記憶部６３は、表示制御部６７に表示制御を実行させるためのプログラムを記憶する。設定情報記憶部６３は、音声出力制御部６８に音声制御を実行させるためのプログラムを記憶する。設定情報記憶部６３は、演算部６５の演算処理において縞パターンＰの縞の位相から測定対象物２の実座標値を算出する際に用いるキャリブレーション情報なども記憶する。
　取込メモリ６４は、画像メモリ５２ｂ及び画像メモリ５４ｂに記憶された画像データを取り込んで記憶する。この取込メモリ６４は、縞パターンＰを投影してＣＣＤカメラ５２ａで撮像された測定対象物２の測定像や自然光による測定対象物２の参照像、ＣＣＤカメラ５４ａで撮像された測定対象物２の広視野参照像などが記憶される。取込メモリ６４には、複数の記憶領域が設けられている。測定像の画像データ及び参照像の画像データは、例えばそれぞれ異なる記憶領域に記憶される。
　演算部６５は、設定情報記憶部６３に記憶されているプログラムやキャリブレーション情報に従って、所定の演算を実行する。演算部６５は、検出部６９及び測定部７１を有する。検出部６９は、撮像部５０のうち少なくとも第２撮像部５０Ｂによって撮像された広視野参照像に基づいて測定対象物２の特徴領域を検出する。特徴領域は、例えば測定対象物２上の領域であって、他の領域に対して輝度が変化していることにより識別可能な領域である。この場合、輝度の変化は、例えば、測定対象物２の形状や表面の光反射率等の変化等に基づくものである。また、このような特徴領域として、測定対象物２上にマーカを配置した場合、該マーカを配置した領域が特徴領域となる。また、演算部６５は、検出部６９で検出した検出結果に基づく特徴領域情報を生成する。このような特徴領域情報として、具体的には、検出部６９で検出された特徴領域（第１特徴領域）とは異なる新たな第２特徴領域の付与位置に関する付与情報を含む。第２特徴領域として、例えば新たなマーカＭＣなどが挙げられる。この付与情報は、第２特徴領域を付与する領域に関する情報と、第２特徴領域を付与する数に関する情報との少なくとも１つを含む。演算部６５は、第１特徴領域の数、第１特徴領域のコントラスト、及び第１特徴領域の分布のうち少なくとも１つに基づいて付与情報を生成する。測定部７１は、撮像部５０で撮像された測定対象物２の複数の画像から求められる複数の三次元データに基づいて、測定対象物２の形状を算出する。
　画像記憶部６６は、演算部６５が算出した測定対象物２の三次元形状データを記憶する。また、画像記憶部６６は、検出部６９によって特徴領域が検出された広視野参照像を記憶する。
　表示制御部６７は、設定情報記憶部６３に記憶されているプログラムに従って三次元形状の画像の表示制御を実行する。すなわち、表示制御部６７は、ユーザによる操作部６１の操作に応じて、または自動的に、画像記憶部６６に記憶された三次元形状データを読み出す。そして、表示制御部６７は、読み出した三次元形状データに基づいて表示装置７０の表示画面に測定対象物２の三次元形状の画像を表示させる制御を実行する。また、表示制御部６７は、設定情報記憶部６３に記憶されているプログラムに従って、画像記憶部６６に記憶された参照像のデータを読み出す。そして、表示制御部６７は、読み出した参照像のデータに基づいて表示装置７０の表示画面に測定対象物２の静止画像やライブビュー画像（広視野参照像）を表示させる制御を実行する。また、表示制御部６７は、演算部６５で生成された特徴領域情報を表示させる制御を実行する。
　音声出力制御部６８は、設定情報記憶部６３に記憶されているプログラムに従って、音声情報（聴覚的情報）の出力制御を実行する。このような音声情報としては第２特徴領域の付与位置に関する付与情報をユーザに通知するために予め作成された音声情報などが含まれる。
　表示装置７０は、表示制御部６７の制御により、測定対象物２の三次元形状の画像や参照像（静止画像及びライブビュー画像）を表示する装置である。また、表示装置７０は、表示制御部６７の制御により、付与情報をユーザに視覚的情報として通知する通知部８５として機能する。この表示装置７０は、例えば液晶表示装置や有機ＥＬ表示装置などが用いられる。
　音声出力装置８０は、音声出力制御部６８の制御により、付与情報をユーザに聴覚的情報として通知する通知部８５として機能する。音声出力装置８０は、例えばスピーカーなどが用いられる。
　また、制御部６２、演算部６５、及び表示制御部６７は、ＣＰＵ（Central Processing Unit）などの演算処理装置により構成される。すなわち、演算処理装置が設定情報記憶部６３に記憶されているプログラムに従って制御部６２が実行する処理を行う。また、演算処理装置が設定情報記憶部６３に記憶されているプログラムに従って演算部６５が実行する処理を行う。また、演算処理装置が設定情報記憶部６３に記憶されているプログラムに従って表示制御部６７及び音声出力制御部６８が実行する処理を行う。このプログラムには、測定プログラムが含まれる。
　この測定プログラムは、演算処理装置（制御部６２）に対して、測定対象物２を撮像する処理と、撮像された測定対象物２の画像に基づいて測定対象物２の特徴領域を検出する処理と、検出された結果に基づく特徴領域情報をユーザに通知する処理と、撮像された複数の測定対象物２の画像に基づいて、測定対象物２の三次元形状を算出する処理と、を実行させる。
　次に、位相シフト法の原理について説明する。　
　位相シフト法は、三角測量の原理に基づいて、測定対象物２へ投影した正弦波状の光強度分布を有する縞パターンＰの縞の位相をシフトさせて撮像した縞画像（縞パターンＰが投影された測定対象物２の測定像）を解析することにより、三次元的に形状を計測する手法である。本実施形態において、縞パターンＰは、縞の位相を第２の方向Ｄ２に沿ってπ／２ずつシフトさせた４種類の縞パターンＰである。ここで、縞パターンＰの位相は、縞パターンＰの光強度の分布である正弦波の位相と言い換えることができる。つまり、光強度の分布である正弦波をπ／２ずつ第２の方向Ｄ２に沿ってシフトさせて４種類の縞パターンＰを生成する。
　以下、例えば基準となる縞パターンＰを第１縞パターン（第１位相光）Ｐ１とし、この第１縞パターンＰ１の位相を０とする。そして、この第１縞パターンＰ１の位相をπ／２だけシフトさせた縞パターンＰを第２縞パターン（第２位相光）Ｐ２とし、第１縞パターンＰ１の位相をπだけシフトさせた縞パターンＰを第３縞パターン（第３位相光）Ｐ３とし、第１縞パターンＰ１の位相を３π／２だけシフトさせた縞パターンＰを第４縞パターン（第４位相光）Ｐ４とする。
　図５（ａ）～（ｄ）は、測定対象物２のない平面に第１縞パターンＰ１～第４縞パターンＰ４が投影された状態を示す図であり、投影領域２００内におけるＣＣＤカメラ５２ａの撮像視野２１０Ａの画像である。図５（ａ）は第１縞パターンＰ１、（ｂ）は第２縞パターンＰ２、（ｃ）は第３縞パターンＰ３、（ｄ）は第４縞パターンＰ４を示している。
　位相シフト法では、図５（ａ）～（ｄ）に示すような第１縞パターンＰ１～第４縞パターンＰ４を投影部１０から測定対象物２に投影すると共に、投影部１０に対して異なる角度に配置される撮像部５０で測定対象物２を撮影する。このとき、投影部１０、測定対象物２、撮影部５０は、三角測量の位置関係になるよう配置される。
　撮像部５０は、第１縞パターンＰ１～第４縞パターンＰ４がそれぞれ測定対象物２に投影された状態で、それぞれ測定対象物２を撮像して４つの測定像を取得する。そして、演算処理部６０は、撮像部５０が撮像した４つの測定像のそれぞれの信号強度に関するデータを以下の（式１）に当てはめ、測定対象物２の面形状に応じた各画素における縞の位相値φを求める。
　φ（ｕ，ｖ）＝ｔａｎ－１｛（Ｉ４（ｕ，ｖ）－Ｉ２（ｕ，ｖ））／（Ｉ１（ｕ，ｖ）－Ｉ３（ｕ，ｖ））｝・・・（式１）
　ただし、（ｕ、ｖ）は画素の位置座標を示している。また、Ｉ１は第１縞パターンＰ１が投影されたときに撮像された測定像の信号強度である。同様に、Ｉ２は第２縞パターンＰ２、Ｉ３は第３縞パターンＰ３、Ｉ４は第４縞パターンＰ４がそれぞれ投影されたときの測定像の信号強度である。
　このように、画像の画素毎に正弦波状に変化する信号強度の位相を求めることができる。位相φ（ｕ，ｖ）が等しい点を連結して得られる線（等位相線）が、光切断法における切断線と同じく物体をある平面で切断した断面の形状を表す。従って、この位相φ（ｕ，ｖ）に基づいて三角測量の原理により三次元形状（画像の各点での高さ情報）が求められる。
　なお、図５（ａ）～（ｄ）に示すように、縞パターンＰの位相が０、π／２、π、３π／２とシフトする毎に、撮像視野２１０Ａ上で縞の位置（縞の明るい部分と縞の暗い部分の位置）が位相差分だけずれているのが確認される。このように、縞パターンＰの位相をシフトさせることにより、撮像視野２１０Ａ上においては、位相に対応して、縞の明るい部分及び暗い部分の位置が第２の方向Ｄ２にずれた状態で投影される。
　図５（ａ）～（ｄ）に示すように、例えば、第２縞パターンＰ２では、第１縞パターンＰ１に対して、縞の位置が位相π／２に対応する距離だけ第２の方向Ｄ２にずれている。また、第３縞パターンＰ３では、第１縞パターンＰ１に対して、縞の位置が位相πに対応する距離だけ第２の方向Ｄ２にずれている。同様に、第４縞パターンＰ４では、第１縞パターンＰ１に対して、縞の位置が位相３π／２に対応する距離だけ第２の方向Ｄ２にずれている。このため、撮像視野２１０Ａ上においては、第１縞パターンＰ１から第４縞パターンＰ４にかけて、縞の位置が等間隔ずつ第２の方向Ｄ２にずれた状態で投影される。
　なお、図５（ａ）～（ｄ）では、平面上に投影された縞パターンＰの像を示しているので、縞パターンＰの像の形状に変化はない。測定対象物２がある場合は、測定対象物２の表面に縞パターンＰが投影されるので測定対象物２の形状（高さ）に応じて縞パターンＰの像が第２の方向Ｄ２（図３のＹ軸方向）に沿って変形する。
　次に、上記のように構成された形状測定装置１を用いた測定方法の一例について説明する。第１実施形態では、測定対象物２が第１撮像部５０Ａの撮像視野２１０Ａよりも大きくなるように配置された場合を例に挙げて説明する。例えば、図１に示すように、測定対象物２がＹ方向において撮像視野２１０Ａよりも大きい寸法となっている。この場合、測定対象物２のうち複数の部分をそれぞれ測定し、各測定結果をつなぎ合わせることで測定対象物２全体の三次元形状を測定する手順を例に挙げる。
　図６は、第１実施形態に係る測定方法の一例について説明するフローチャートである。また、図７～図１０は、測定方法において表示領域７０ａで表示される画像を処理順に沿って模式的に示す図である。
　まず、形状測定装置１の電源がオンとなった状態において、ユーザは、第２撮像部５０Ｂが用いられるように操作部６１の切り替えスイッチを操作する。この操作により、制御部６２は、第２撮像部５０Ｂに対して、測定対象物２のライブビュー画像を所定のフレームレートで撮像させる。表示制御部６７は、図７（ａ）に示すように、第２撮像部５０Ｂによって撮像されたライブビュー画像Ｌ１を表示装置７０の表示領域７０ａに表示させる。この状態から、ユーザは、形状測定装置１を適宜移動させ、シャッター操作を行う。なお、制御部６２は、ライブビュー画像を撮像しなくてもよい。この場合、表示装置７０にライブビュー画像が表示されないので、ユーザは、例えば目視等により形状測定装置１を測定対象物２に向けてシャッター操作を行う。この場合、ユーザは、例えば、先に撮像した画像を表示装置７０に表示させ、次に撮像する部分を確認してもよい。
　ユーザによりシャッター操作が行われると、制御部６２は、第２撮像部５０Ｂを用いて、図７（ｂ）に示すように測定対象物２の全体の静止画像である広視野参照像Ｉｍ１を取得する（ステップＳ０１）。表示制御部６７は、取得した広視野参照像Ｉｍ１を表示装置７０の表示領域７０ａに表示させる。
　次に、検出部６９は、取得した広視野参照像Ｉｍ１に含まれる特徴領域を検出する（ステップＳ０２）。検出部６９は、取得した広視野参照像Ｉｍ１について、測定対象物２上の領域であって、他の領域に対して輝度（信号強度）が変化していることにより識別可能な領域を第１特徴領域として検出する。この場合、輝度の変化は、測定対象物２の形状や表面の光反射率等の変化等に基づくものである。検出部６９により、図７（ｂ）に示すように、測定対象物２の角部である特徴領域（第１特徴領域）Ａ０１～Ａ０４や、上面の模様などの複数のテクスチャーＡ０５～Ａ０９内の特徴領域が検出される。本実施形態において、テクスチャーＡ０５～Ａ０９のそれぞれは、少なくとも３つの特徴領域（第１特徴領域）を含んでいる。なお、テクスチャーＡ０５～Ａ０９を特徴領域と言い換えることもできる。
　次に、検出部６９は、広視野参照像Ｉｍ１を用いて、第１撮像部５０Ａの撮像視野２１０Ａと第２撮像部５０Ｂの撮像視野２１０Ｂとの相対的な位置関係を求める（ステップＳ０３）。ステップＳ０３は、撮像視野２１０Ａにより取得した測定対象物２の一部の像が、測定対象物２のうちどの部分の像であるかを関連付けるために行う。例えば、制御部６２は、第２撮像部５０Ｂから第１撮像部５０Ａに切り替え、第１撮像部５０Ａに対して測定対象物２のライブビュー画像（参照像）を撮像させる。表示制御部６７は、図８（ａ）に示すように、第１撮像部５０Ａによるライブビュー画像Ｌ２を表示領域７０ａに表示させる。
　次に、検出部６９は、ライブビュー画像Ｌ２に含まれる特徴領域を検出する。例えば図８（ａ）では、特徴領域Ａ０２、及びテクスチャーＡ０５、Ａ０６に含まれた特徴領域が検出される。検出部６９は、テクスチャーＡ０６に含まれた３つの特徴領域Ａ０６１、Ａ０６２及びＡ０６３を検出する。同様に、検出部６９は、テクスチャーＡ０５の３つの特徴領域Ａ０５１、Ａ０５２及びＡ０５３（図面での符号を省略する）を検出する。検出部６９は、この特徴領域Ａ０２、Ａ０５１～Ａ０５３、及びＡ０６１～Ａ０６２のうち、少なくとも３つの位置を求めることにより、撮像視野２１０Ａが撮像視野２１０Ｂ内のどの位置に配置されているかを求めることができる。この結果を用いて、検出部６９は、撮像視野２１０Ａと撮像視野２１０Ｂとの相対的な位置関係を算出する。その後、検出部６９は、第２撮像部５０Ｂによる撮像結果を表示領域７０ａに表示させる。このとき、検出部６９は、図８（ｂ）に示すように、相対的な位置関係の算出結果をユーザに認識させるため、算出結果を例えば撮像視野２１０Ａを表示領域７０ａに重ねて表示させる。
　次に、検出部６９は、広視野参照像Ｉｍ１に基づく特徴領域情報を生成する（ステップＳ０４）。本実施形態において、具体的には、検出部６９は、撮像視野２１０Ａに特徴領域が含まれない部分があるか否かを検出する。この場合、検出部６９は、特徴領域の数が形状測定装置１の回転及び並進を算出するために最低限必要な数（例えば、３つ以上）であるか否かを検出する。例えば、図９（ａ）に示すように、第１撮像部５０Ａの撮像視野２１０Ａのうち短手方向の長さをｈとし、視野中心をＱとする。この場合、図９（ｂ）に示すように、特徴領域Ａ００を中心とした直径ｈの円状のサーチ領域Ｐの内部に視野中心Ｑが存在していれば、その特徴領域Ａ００は必ず撮像視野２１０Ａに含まれると判断することができる。
　そこで、検出部６９は、図１０（ａ）に示すように、各特徴領域Ａ０１～Ａ０４及びテクスチャーＡ０５～Ａ０９をそれぞれ中心とする直径ｈのサーチ領域Ｐを設定する。テクスチャーＡ０５～Ａ０９の場合、テクスチャー全体の中心からサーチ領域Ｐを設定してもよいし、テクスチャー内のいずれかの特徴部分を中心としてサーチ領域Ｐを設定してもよい。測定対象物２の表面のうち、これら複数のサーチ領域Ｐによって覆われる部分は、撮像視野２１０Ａに特徴領域またはテクスチャー（テクスチャー内の特徴領域）が必ず含まれる部分である。その一方、図１０（ａ）には、複数のサーチ領域Ｐによって覆われない領域２Ｐが検出される。この領域２Ｐは、撮像視野２１０Ａに特徴領域Ａ０１～Ａ０４及びテクスチャーＡ０５～Ａ０９の特徴領域のいずれもが含まれない領域であり、この領域２Ｐに視野中心Ｑを配置させて算出した三次元データは、測定対象物２上の他の領域の三次元データと連結することができない。
　領域２Ｐが検出された場合、新たな特徴領域を付与する位置に関する情報（付与情報）をユーザに通知する（ステップＳ０５）。具体的には、本実施形態において、表示制御部６７は、測定対象物２上への新たな特徴領域の配置位置をユーザへ通知するため、表示領域７０ａに該領域２Ｐをハイライト表示させる。さらに、音声出力制御部６８は、音声出力装置８０から、新たな特徴領域としてのマーカＭＣを領域２Ｐ内に配置することを促すための音声情報をユーザへ出力する。これにより、ユーザに対して、領域２Ｐに対応する測定対象物２上の領域にマーカＭＣを配置すればよい旨の情報が通知される。
　演算部６５は、再度ステップＳ０１～Ｓ０５を繰り返し行うか、これらのステップを行わずに形状の測定に移るかを選択するようユーザに通知する。この通知は、例えば表示装置７０に表示させることで行われる。この通知を受けて、ユーザは、例えばステップＳ０５で通知された情報に従って測定対象物２上にマーカＭＣを配置し、再度ステップＳ０１～Ｓ０５を繰り返し行うようにしてもよい。また、ユーザは、マーカＭＣを配置せずに、再度ステップＳ０１～Ｓ０５を繰り返し行うようにしてもよい。また、ユーザは、マーカＭＣを配置するが、ステップＳ０１～Ｓ０５を行わずに次のステップに移るようにしてもよい。以下では、マーカＭＣを配置してステップＳ０１～Ｓ０５を繰り返し行う場合（ステップＳ０６：ＹＥＳ）を例に挙げて説明する。
　ユーザは、ステップＳ０５で通知された箇所にマーカＭＣを配置した後、第２撮像部５０Ｂのシャッター操作を行う。ユーザによりシャッター操作が行われると、制御部６２は、第２撮像部５０Ｂを用いて、図１１（ａ）に示すように測定対象物２の全体の静止画像である広視野参照像Ｉｍ２を取得する。表示制御部６７は、取得した広視野参照像Ｉｍ２を表示装置７０の表示領域７０ａに表示させる。
　次に、検出部６９は、取得した広視野参照像Ｉｍ２に含まれる特徴領域を検出する。検出部６９は、広視野参照像Ｉｍ２に含まれる領域であって、測定対象物２の形状変化に基づく輝度の変化により他の領域に対して識別可能な領域を特徴領域として検出する。検出部６９により、図１１（ａ）に示すように、上記の特徴領域Ａ０１～Ａ０４及びテクスチャーＡ０５～Ａ０９の特徴領域に加え、新たに配置したマーカＭＣの４角が特徴領域として検出される。
　次に、検出部６９は、広視野参照像Ｉｍ２を用いて、上記のステップＳ０４と同様に撮像視野２１０Ａに特徴領域が含まれない部分があるか否かを検出する。具体的には、検出部６９は、図１１（ｂ）に示すように、各特徴領域Ａ０１～Ａ０４、テクスチャーＡ０５～Ａ０９、及びマーカＭＣをそれぞれ中心とする直径ｈのサーチ領域Ｐを設定し、測定対象物２の全体がサーチ領域Ｐによって覆われているか否かを検出する。マーカＭＣの場合、マーカＭＣの中心からサーチ領域Ｐを設定してもよいし、特徴領域であるマーカＭＣの４角のいずれかを中心としてサーチ領域Ｐを設定してもよい。図１１（ｂ）では、測定対象物２の表面の全てが複数のサーチ領域Ｐによって覆われている。この場合、複数のサーチ領域Ｐの内部に撮像視野２１０Ａの視野中心Ｑを配置して撮像すれば、撮像結果には特徴領域Ａ０１～Ａ０４、テクスチャーＡ０５～Ａ０９及びマーカＭＣの特徴領域のいずれかが含まれることになる。したがって、測定対象物２の全体がサーチ領域Ｐで覆われている場合、測定対象物２のどの部分を撮像した場合であっても、特徴領域の数が形状測定装置１の回転及び並進を算出するために最低限必要な数（例えば、３つ以上）となるため、測定結果としての三次元データ同士の連結に失敗することがなくなり、測定結果同士を確実に連結させることができる。
　その後、ユーザは、ステップＳ０１～Ｓ０５を繰り返し行うことなく（ステップＳ０６：ＮＯ）、測定対象物２の三次元形状の測定に移る（ステップＳ０７）。図１２は、測定方法における測定対象物２と形状測定装置１との位置関係の一例を示す図である。本実施形態の測定方法では、ユーザは、図１２に示す第１位置Ａ１に形状測定装置１を配置して測定対象物２の第１部分の画像を撮像する。その後、ユーザは、形状測定装置１を＋Ｙ側に移動させ、図６に示す第２位置Ａ２に形状測定装置１を配置して第２部分の画像を撮像する。これらの撮像では、測定対象物２と撮像部５０との位置関係が相対的に変化する。まず、ユーザが、測定対象物２のうち－Ｙ側の第１部分について測定する場合を説明する。操作部６１の切り替えスイッチを操作し、第１撮像部５０Ａによる撮像に切り替える。制御部６２は、第１撮像部５０Ａに対して、自然光による測定対象物２の参照像を所定のフレームレートで撮像させる。そして、表示制御部６７は、第１撮像部５０Ａによって撮像された参照像をライブビュー画像として表示領域７０ａに表示させる。ユーザは、この状態からシャッター操作を行う。
　シャッター操作が行われると、制御部６２は、光生成部２０及び走査部４０に対して指令信号を出力し、測定対象物２の一部（以下、第１部分と表記する）に４種類の縞パターンＰ（図５（ａ）～（ｄ）参照）を投影させ、各縞パターンＰが投影された測定対象物２の第１部分の測定像をそれぞれＣＣＤカメラ５２ａに撮像させる。そして演算部６５は、４種類の測定像に基づいて、測定対象物２の第１部分の三次元データとして第１点群ＤＭを生成する。この第１点群ＤＭは、第１部分の三次元形状に関する三次元データであり、点群データを含む。
　また、演算部６５は、上記シャッター操作が行われた場合、図１３（ａ）に示すように、撮像部５０によって第１部分の静止画像である参照像Ｉｍ３を取得する。表示制御部６７は、取得した参照像Ｉｍ３を表示装置７０の表示領域７０ａに例えば所定時間表示させる。次に、検出部６９は、取得した参照像Ｉｍ３のうち特徴領域を検出する。検出部６９により、図１３（ａ）に示すように、特徴領域Ａ０２、及びテクスチャーＡ０５、Ａ０６内の特徴領域Ａ０５１～Ａ０５３、Ａ０６１～Ａ０６３が検出される。
　次に、ユーザは、形状測定装置１を移動させながら、測定対象物２のうち第２部分の撮像を行う。このとき、ユーザは、第１撮像部５０Ａの撮像視野２１０Ａ内に、第１位置Ａ１で検出した測定対象物２の第１部分における特徴領域Ａ０２、及びテクスチャーＡ０５、Ａ０６の特徴領域Ａ０５１～Ａ０５３、Ａ０６１～Ａ０６３と同じ特徴領域が形状測定装置１の回転及び並進を算出するために最低限必要な数（例えば、３つ）以上含まれるように、形状測定装置１を移動させる。本実施形態において、形状測定装置１を移動させた後の位置を位置Ａ２とする。位置Ａ２は、第１部分と共通の３つの特徴領域Ａ０６１～Ａ０６３を持つテクスチャーＡ０６を撮像可能である。
　形状測定装置１を位置Ａ２に移動した後、ユーザは、シャッター操作を行う。シャッター操作が行われると、制御部６２は、操作部６１からシャッター操作が行われたことを表す信号が入力される。また、シャッター操作が行われた場合、第２部分との距離を測定して、投影光学系３０や撮像レンズ５１のフォーカス合わせが行われてもよい。
　シャッター操作が行われると、制御部６２は、光生成部２０及び走査部４０に対して指令信号を出力し、測定対象物２の第２部分に４種類の縞パターンＰを投影させ、各縞パターンＰが投影された第２部分の測定像をそれぞれＣＣＤカメラ５２ａに撮像させる。その後、演算部６５は、４種類の測定像に基づいて、第２部分の三次元データとして第２点群ＤＮを生成する。この第２点群ＤＮは、第２部分の三次元形状に関する三次元データであり、点群データを含む。
　また、演算部６５は、上記シャッター操作が行われた場合、図１３（ｂ）に示すように、撮像部５０によって第２部分の静止画像である参照像Ｉｍ４を取得する。表示制御部６７は、取得した参照像Ｉｍ４を表示装置７０の表示領域７０ａに例えば所定時間表示させる。検出部６９は、取得した参照像Ｉｍ４のうち特徴領域を検出する。検出部６９により、図１３（ｂ）に示すように、テクスチャーＡ０６の特徴領域Ａ０６１～Ａ０６３の他、テクスチャーＡ０７の３つの特徴領域Ａ０７１、Ａ０７２及びＡ０７３（符号の図示を省略している）が検出される。その後、同様の手順により、測定対象物２の全体について、一部ずつ三次元形状に関する複数の三次元データ（点群データ）を取得すると共に、各部の静止画像（参照像）を取得する。
　次に、演算部６５は、取得した第１部分の第１点群ＤＭと第２部分の第２点群ＤＮとを、測定対象物２の形状が復元するように連結する。算出した第１部分の第１点群ＤＭにおいて、取得した特徴領域のうちテクスチャーＡ０６の特徴領域Ａ０６１～Ａ０６３に対応する３次元座標をそれぞれｍ０６１～ｍ０６３とする。また、算出した第２部分の第２点群ＤＮにおいて、取得した特徴領域のうちテクスチャーＡ０６の特徴領域Ａ６１～Ａ０６３に対応する３次元座標をそれぞれｎ０６１～ｎ０６３とする。ｍ０６１～ｍ０６３とｎ０６１～ｎ０６３の対応より、形状測定装置１の変位を表す回転Ｒａ及び並進ｔａを算出する。具体的な算出方法としては、学術論文（例、S. Umeyama, "Least-squares estimation of transformation parameters between two point patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.4, pp.376-380, 1991.）や公開公報などに記載の公知の手法を用いる事ができる。
　形状測定装置１は、第１位置と第２位置との間で、回転と並進とがそれぞれＲａ、ｔａだけ変化している。したがって、演算部６５は、第１位置で取得した第１点群ＤＭを構成する三次元座標ｍを、以下の［数１］の変換式によって変換することにより、第２位置から見たときの三次元座標ｍ´に変換できる。
Figure JPOXMLDOC01-appb-M000001
　このように、第１点群ＤＭを変換することにより、特徴領域Ａ０６１～Ａ０６３同士が重ね合わされ、第１点群ＤＭと第２点群ＤＮとが連結される。そして、測定部７１により、連結された点群データに基づいて測定対象物２の形状が測定される。
　ここで、第１部分の画像を撮像した後、第２部分の画像を撮像する場合には、測定対象物２と形状測定装置１との相対位置を変化させる。このとき、第１部分の画像と第２部分の画像とのそれぞれに、形状測定装置１の回転及び並進を算出するのに十分な数の特徴領域が含まれることが重要である。従来では、他の領域に対して光反射率等が大きく異なるようなマーカを特徴領域として使用する場合、所定数の共通の特徴領域（例えば３つのマーカ）が含まれるように形状測定装置１を移動することで、形状測定装置１の回転及び並進を算出することができたため、これにより三次元データ同士の連結を行うことができた。
　しかしながら、マーカを用いる場合、例えば測定対象物２上に特徴領域としてのマーカを配置すると、そのマーカを配置した箇所については該マーカによって隠されるため、三次元データを求めることが困難となる。そのため、マーカを多く配置しすぎると、測定対象物上で測定すべき部分の三次元データが得られず、三次元形状測定が失敗するおそれがある。一方、適切な位置に適切な数のマーカが配置されないと、三次元データを連結することができず、測定対象物の三次元形状の測定が失敗するおそれがある。また、このように、マーカは多すぎても少なすぎても、測定対象物の形状測定を適切に行うことが困難となってしまうが、マーカ（特徴領域）の最適な位置及び数をユーザが判断することは困難である。そのため、三次元データの連結を含めた三次元形状測定の成功させるために、三次元データを連結しにくそうな箇所を判断するには熟練が必要となっていた。
　そこで、本実施形態では、第２撮像部５０Ｂで撮像された測定対象物２の全体の広視野参照像Ｉｍ１に基づいて測定対象物２の特徴領域Ａ０１～Ａ０４及びテクスチャーＡ０５～Ａ０９の特徴領域を検出部６９において検出し、検出結果に基づいて、測定対象物２上に撮像視野２１０Ａ内で特徴領域が存在しない部分があるという情報や、新たな特徴領域としてのマーカＭＣを付与する位置に関する情報などの特徴領域情報を通知部８５（表示装置７０、音声出力装置８０など）によってユーザに通知するため、ユーザはその通知に従ってマークＭＣを配置すればよい。これにより、第１撮像部５０Ａで測定対象物２の一部分ずつを撮像する場合に、撮像された複数の測定対象物２の画像を精度よく連結することができるため、作業者の熟練を要することなく、測定対象の三次元データを精度よく測定することができる。
　以上のように、第１実施形態によれば、持ち運び可能な可搬性を有する形状測定装置１において、測定対象物２を撮像する第１撮像部５０Ａ及び第２撮像部５０Ｂと、第２撮像部５０Ｂで撮像された測定対象物２の画像に基づいて測定対象物２の特徴領域を検出する検出部６９と、検出部６９で検出した結果に基づく特徴領域情報をユーザに通知する通知部８５（７０、８０）と、第１撮像部５０Ａで撮像された複数の測定対象物２の画像に基づいて、測定対象物２の三次元形状を算出する測定部７１と、を備える。これにより、測定対象物２上の適切な位置に指標を配置させることができる。よって、第１撮像部５０Ａで測定対象物２の一部分ずつを撮像する場合に、三次元データ同士の連結を含めた三次元形状測定の成功率を向上させることができる。
　＜第２実施形態＞　
　次に、第２実施形態を説明する。　
　図１４は、第２実施形態に係る形状測定装置１Ａの一例を示す図である。図１４に示すように、本実施形態では、撮像部５０として、第１撮像部５０Ａのみが設けられ、第２撮像部５０Ｂが省略された構成を例に挙げて説明する。なお、他の構成については、第１実施形態と同様である。
　この構成では、測定対象物２の全体について特徴領域を検出する場合、参照像として測定対象物２の動画を撮像する。図１５に示すように、ユーザは、撮像視野２１０Ａが測定対象物２の全体をカバーするように形状測定装置１を移動させる。このとき、形状測定装置１を移動させながら、制御部６２は、第１撮像部５０Ａに対して、自然光による測定対象物２の参照像を所定のフレームレートで撮像させる。演算部６５は、形状測定装置１の移動に応じて撮像した参照像を画像記憶部６６に記憶させる。なお、表示制御部６７は、第１撮像部５０Ａによって撮像された参照像をライブビュー画像として表示装置７０の表示領域７０ａに表示させてもよい。
　検出部６９は、取得した複数の画像に含まれる特徴領域を検出する。検出部６９は、取得した各画像に含まれる領域であって、測定対象物２の形状変化に基づく輝度の変化により他の領域に対して識別可能な領域を特徴領域として検出する。また、検出部６９は、特徴領域を検出した後、複数の画像の中で特徴領域が形状測定装置１の回転及び並進を算出するために最低限必要な数（例、３つ）よりも少ない箇所を検出する。このような箇所が検出された場合、新たな特徴領域を付与する位置に関する情報をユーザに通知する。具体的には、本実施形態において、測定対象物２上への新たな特徴領域の配置位置をユーザへ通知するため、表示装置７０に該箇所をハイライト表示してもよく、音声出力装置８０から、新たな特徴領域としてのマーカＭＣを該箇所内に配置することを促すための音声情報をユーザへ出力してもよい。
　このように、第２実施形態によれば、持ち運び可能な可搬性を有する形状測定装置１Ａにおいて、第１撮像部５０Ａで撮像された測定対象物２の動画に基づいて測定対象物２の特徴領域を検出部６９において検出し、検出結果に基づいて、複数の画像の中で特徴領域が少ない箇所があるという情報や、新たな特徴領域としてのマーカＭＣを付与する位置に関する情報を通知部８５（表示装置７０、音声出力装置８０）によってユーザに通知するため、ユーザはその通知に従ってマーカＭＣを配置すればよい。これにより、測定対象物２上の適切な位置に指標を配置させることができる。よって、第１撮像部５０Ａで測定対象物２の一部分ずつを撮像する場合に、三次元データ同士の連結を含めた三次元形状測定の成功率を向上させることができる。また、第２撮像部５０Ｂを省略した構成であるため、ユーザの操作が容易になるうえ、小型化かつ低価格化が可能となる。
　＜変形例＞　
　次に、変形例を説明する。　
　第１実施形態において、撮像視野２１０Ａに特徴領域が含まれない部分があるか否かを１回目に検出する場合において、図１６（ａ）に示すように、特徴領域Ａ０１～Ａ０４及びテクスチャーＡ０５～Ａ１０のそれぞれについて設定した直径ｈのサーチ領域Ｐにより、測定対象物２の表面の全てが覆われるときには、表示制御部６７は、ユーザに対して、マーカＭＣを配置する必要が無い旨の表示を行ってもよい。また、音声出力制御部６８は、ユーザに対して、マーカＭＣを配置する必要が無い旨の音声情報を出力してもよい。なお、テクスチャーＡ１０が少なくとも３つの特徴領域を含んでいる点は、テクスチャーＡ０５～Ａ０９と同様である。
　また、上記第１実施形態において、マーカとして円形のマーカＭＣ２を用いる場合、図１６（ｂ）に示すように、第２撮像部５０ＢによってマーカＭＣ２が楕円形に撮像される。このとき、マーカＭＣ２の中心（マーカＭＣ２について設定するサーチ領域Ｐの中心）は、楕円の中心Ｑ１ではなく、奥行き方向の奥側にずれた位置Ｑ２となる。
　また、上記第１実施形態において、第２撮像部５０Ｂが形状測定装置１に搭載された構成を例に挙げて説明したが、これに限定するものではなく、例えば第２撮像部５０Ｂが形状測定装置１とは別個に設けられてもよい。この場合、第２撮像部５０Ｂの撮像視野２１０Ｂと、第１撮像部５０Ａの撮像視野２１０Ａとの対応付けが取れる構成であればよい。
　また、上記各実施形態において、測定対象物２の全体画像から特徴領域を検出する場合に、全体画像を撮像する場合を例に挙げて説明したが、これに限定するものではない。例えば、予め撮像した画像を画像記憶部６６等に記憶させておき、測定動作の際には演算部６５が記憶された画像を用いて特徴領域の検出を行ってもよい。また、画像記憶部６６に記憶させる画像データは、撮像データに限定されず、描画などによって形成する他の画像データ（例、ＣＡＤデータ等）であってもよい。
　また、上記実施形態において、マーカＭＣをどの位置に配置するかを検出する際に、検出部６５は、以下の演算を行ってもよい。例えば、サーチ領域Ｐによって覆われない領域（非被服領域と表記する）にマーカＭＣをランダムに配置し、これを非被覆領域が無くなるまで繰り返す。この処理を複数回試行し、マーカＭＣの数が最も少ない配置を採用する。また、演算部６５は、例えば遺伝的アルゴリズムなどのヒューリスティックな最適化アルゴリズムにより、最も少ない数で非被覆領域が無くなるようなマーカＭＣの配置を探索してもよい。
　＜構造物製造システム及び構造物製造方法＞　
　図１７は、構造物製造システムの実施形態の一例を示すブロック図である。図１７に示す構造物製造システムＳＹＳは、上記した形状測定装置１（又は形状測定装置２０１）、設計装置７１０、成形装置７２０、制御装置（検査装置）７３０、及びリペア装置７４０を有している。
　設計装置７１０は、構造物の形状に関する設計情報を作製する。そして、設計装置７１０は、作製した設計情報を成形装置７２０及び制御装置７３０に送信する。ここで、設計情報とは、構造物の各位置の座標を示す情報である。また、測定対象物は、構造物である。
　成形装置７２０は、設計装置７１０から送信された設計情報に基づいて構造物を成形する。この成形装置７２０の成形工程は、鋳造、鍛造、または切削などが含まれる。形状測定装置１、１Ａは、成形装置７２０により作製された構造物（測定対象物２）の三次元形状、すなわち構造物の座標を測定する。そして、形状測定装置１、２０１は、測定した座標を示す情報（以下、形状情報という。）を制御装置７３０に送信する。
　制御装置７３０は、座標記憶部７３１及び検査部７３２を有している。座標記憶部７３１は、設計装置７１０から送信される設計情報を記憶する。検査部７３２は、座標記憶部７３１から設計情報を読み出す。また、検査部７３２は、座標記憶部７３１から読み出した設計情報と、形状測定装置１、２０１から送信される形状情報とを比較する。そして、検査部７３２は、比較結果に基づき、構造物が設計情報の通りに成形されたか否かを検査する。
　また、検査部７３２は、成形装置７２０により成形された構造物が良品であるか否かを判定する。構造物が良品であるか否かは、例えば、設計情報と形状情報との誤差が所定の閾値の範囲内であるか否かにより判定する。そして、検査部７３２は、構造物が設計情報の通りに成形されていない場合は、その構造物を設計情報の通りに修復することができるか否かを判定する。修復することができると判定した場合は、検査部７３２は、比較結果に基づき、不良部位と修復量を算出する。そして、検査部７３２は、不良部位を示す情報（以下、不良部位情報という。）と、修復量を示す情報（以下、修復量情報という。）と、をリペア装置７４０に送信する。
　リペア装置７４０は、制御装置７３０から送信された不良部位情報と修復量情報とに基づいて、構造物の不良部位を加工する。
　図１８は、構造物製造システムＳＹＳによる処理を示すフローチャートであり、構造物製造方法の実施形態の一例を示している。図１８に示すように、設計装置７１０は、構造物の形状に関する設計情報を作製する（ステップＳ３１）。設計装置７１０は、作製した設計情報を成形装置７２０及び制御装置７３０に送信する。制御装置７３０は、設計装置７１０から送信された設計情報を受信する。そして、制御装置７３０は、受信した設計情報を座標記憶部７３１に記憶する。
　次に、成形装置７２０は、設計装置７１０が作製した設計情報に基づいて構造物を成形する（ステップＳ３２）。そして、形状測定装置１、２０１は、成形装置７２０が成形した構造物の三次元形状を測定する（ステップＳ３３）。その後、形状測定装置１、２０１は、構造物の測定結果である形状情報を制御装置７３０に送信する。次に、検査部７３２は、形状測定装置１、２０１から送信された形状情報と、座標記憶部７３１に記憶されている設計情報とを比較して、構造物が設計情報の通りに成形されたか否か検査する（ステップＳ３４）。
　次に、検査部７３２は、構造物が良品であるか否かを判定する（ステップＳ３５）。構造物が良品であると判定した場合は（ステップＳ３５：ＹＥＳ）、構造物製造システムＳＹＳによる処理を終了する。一方、検査部７３２は、構造物が良品でないと判定した場合は（ステップＳ３５：ＮＯ）、検査部７３２は、構造物を修復することができるか否かを判定する（ステップＳ３６）。
　検査部７３２が構造物を修復することができると判定した場合は（ステップＳ３６：ＹＥＳ）、検査部７３２は、ステップＳ３４の比較結果に基づいて、構造物の不良部位と修復量を算出する。そして、検査部７３２は、不良部位情報と修復量情報とをリペア装置７４０に送信する。リペア装置７４０は、不良部位情報と修復量情報とに基づいて構造物のリペア（再加工）を実行する（ステップＳ３７）。そして、ステップＳ３３の処理に移行する。すなわち、リペア装置７４０がリペアを実行した構造物に対してステップＳ３３以降の処理が再度実行される。一方、検査部７３２が構造物を修復することができると判定した場合は（ステップＳ３６：ＮＯ）、構造物製造システムＳＹＳによる処理を終了する。
　このように、構造物製造システムＳＹＳ及び構造物製造方法では、形状測定装置１、２０１による構造物の測定結果に基づいて、検査部７３２が設計情報の通りに構造物が作製されたか否かを判定する。これにより、成形装置７２０により作製された構造物が良品であるか否か精度よく判定することができるとともに、その判定の時間を短縮することができる。また、上記した構造物製造システムＳＹＳでは、検査部７３２により構造物が良品でないと判定された場合に、直ちに構造物のリペアを実行することができる。
　なお、上記した構造物製造システムＳＹＳ及び構造物製造方法において、リペア装置７４０が加工を実行することに代えて、成形装置７２０が再度加工を実行するように構成してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。
　例えば、上記した各実施形態及び変形例において、第１の方向Ｄ１と第２の方向Ｄ２とが直交していたが、第１の方向Ｄ１と第２の方向Ｄ２とが異なる方向であれば直交していなくてもよい。例えば、第２の方向Ｄ２は、第１の方向Ｄ１に対して６０度や８０度の角度に設定されてもよい。
　また、上記した各実施形態及び変形例において、各図面では光学素子を一つまたは複数で表しているが、特に使用する数を指定しない限り、同様の光学性能を発揮させるものであれば、使用する光学素子の数は任意である。
　また、上記した各実施形態及び変形例において、光生成部２０等が構造光１０１を生成するための光は、可視光領域の波長の光、赤外線領域の波長の光、紫外線領域の波長の光、のいずれが用いられてもよい。可視光領域の波長の光が用いられることにより、使用者が投影領域２００を認識可能となる。この可視光領域のうち、赤色の波長が用いられることにより、測定対象物２へのダメージを軽減させることができる。
　また、上記した各実施形態及び変形例において、走査部４０は、構造光を反射する光学素子を用いているがこれに限定されない。例えば、回折光学素子や、屈折光学素子、平行平板ガラス等が用いられてもよい。レンズ等の屈折光学素子を光軸に対して振動させることで構造光を走査させてもよい。なお、この屈折光学素子としては、投影光学系３０の一部の光学素子が用いられてもよい。
　また、上記した各実施形態及び変形例において、撮像部５０としてＣＣＤカメラ５２ａ、５４ａが用いられるがこれに限定されない。例えば、ＣＣＤカメラに代えて、ＣＭＯＳイメージセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）などのイメージセンサが用いられてもよい。
　また、上記した各実施形態及び変形例において、位相シフト法に用いる縞パターンＰの位相を一周期の間に４回シフトさせる４バケット法が用いられるが、これに限定されない。例えば、縞パターンＰの位相の一周期２πを５分割した５バケット法や、同じく６分割した６バケット法などが用いられてもよい。
　また、上記した各実施形態及び変形例において、いずれも位相シフト法が用いられているが、空間コード法を用いて測定対象物２の三次元形状を測定するものでもよい。
　また、上記した各実施形態及び変形例において、縞パターンＰを白色及び黒色で表していたが、これに限定されず、いずれか一方または双方が単色であってもよい。例えば、縞パターンＰは、白色と赤色とで生成されるものでもよい。
　また、各実施形態及び変形例において、点群データ同士を連結する場合、以下の手法を用いてもよい。まず、形状測定装置１から第１部分及び第２部分への回転及び並進を算出する。例えば、算出した第１部分の第１点群ＤＭと、取得した特徴領域Ａ０６～Ａ１２の２次元座標との対応により、形状測定装置１から第１部分への回転Ｒ１及び並進ｔ１を求める。また、例えば、算出した第２部分の第２点群ＤＮと、取得した参照像Ｉｍ２の特徴領域Ａ０６～Ａ１２の二次元座標との対応により、形状測定装置１から第２部分への回転Ｒ２及び並進ｔ２を算出する。なお、特徴領域Ａ０６～Ａ１２は、参照像Ｉｍ１と参照像Ｉｍ２との間で共通する領域である。この場合の回転及び並進の算出方法としては、学術論文（例、V. Lepetit et al. “EPnP: An Accurate O(n) Solution to the PnP Problem”,International Journal Of Computer Vision, vol. 81, p. 155-166, 2009.）や公開公報などに記載の公知の手法を用いることができる。
　次に、演算部６５は、求めたＲ１、ｔ１、Ｒ２、ｔ２を用いて、以下の［数２］により、形状測定装置１の回転Ｒａ及び並進ｔａを求める。なお、回転Ｒ１、Ｒ２、Ｒａは行列式で表され、並進ｔ１、ｔ２、ｔａはベクトルで表される。
Figure JPOXMLDOC01-appb-M000002
　また、上述の実施形態及び変形例において、投影部１０、撮像部５０、演算処理部６０、表示装置７０及び音声出力装置８０が持ち運びが可能な筐体９０に収容された構成を例に挙げて説明したが、これに限定されるものではない。例えば、演算装置６０や表示装置７０、音声出力装置８０については、筐体９０に配置されなくてもよく、筐体９０の外部に設置されてもよい。この場合、演算装置６０や表示装置７０、音声出力装置８０としては、例えばパーソナルコンピュータ（ノート型及びデスクトップ型を含む）などを用いることができる。
　なお、演算処理部６０の全ての機能を持ち運びが可能な筐体に収容しなくてもよく、演算処理部６０の一部の機能（演算部、画像記憶部、表示制御部、及び設定情報記憶部の少なくとも一部）を外部のコンピュータに持たせてもよい。また、本発明は、持ち運び可能な形状測定装置１に限定されず、例えば多関節アームに三次元測定部が設けられた測定機や、測定対象物２を載置するステージ上を三次元測定部が移動可能に構成された測定機などの、据え置き型の形状測定装置に対しても適用できる。
　この場合であっても、上述の実施形態と同様に、ＭＥＭＳミラーの往復振動とレーザダイオードから射出される光強度とを同期させる必要がなく、複雑かつ高度な同期制御が不要となる。投影部１０、撮像部５０、演算処理部６０、表示装置７０及び音声出力装置８０を持ち運びが可能な筐体に収容した形状測定装置を持ち運ぶ場合、特に外部の測定環境（温度、湿度、気圧など）が変化しやすくなるが、外部環境が変化したとしても高精度な測定対象物２の形状測定を行うことができる。
　また、形状測定装置１の一部の構成をコンピュータにより実現してもよい。例えば、演算部処理部６０をコンピュータにより実現してもよい。この場合、コンピュータは、記憶部に記憶された形状測定プログラムに従って、測定対象物２を撮像する処理と、撮像された測定対象物２の画像に基づいて測定対象２物の特徴領域を検出する処理と、検出された結果に基づく情報をユーザに通知する処理と、撮像された複数の測定対象物２の画像に基づいて、測定対象物２の形状を算出する処理と、を実行させる。
　また、上記した各実施形態及び変形例では、第１撮像部５０Ａによる参照像の撮像時や、第２撮像部５０Ｂによる広視野参照像の撮像時に自然光を用いているが、これに限定されない。例えば、測定対象物２を照明する照明部が形状測定装置１に設けられてもよいし、投影部１０を用いて測定対象物２を照明してもよい。
　また、上記した各実施形態及び変形例において、通知部８５は、付与情報として、表示装置７０に表示させる視覚的情報と、音声出力装置８０から出力させる聴覚的情報とのうち少なくとも一方を出力する構成とすることができる。また、視覚的情報及び聴覚的情報の双方を出力しないものでもよい。通知部８５は、例えば形状測定装置１の全体または一部が振動または変形するような触覚的情報を出力してもよい。通知部８５は、例えば、ユーザが形状測定装置１を持つ部分に振動等の触覚的情報を出力してもよい。また、通知部８５は、視覚的情報、聴覚的情報、及び触覚的情報のうち少なくとも１つの情報を出力して通知するものでもよい。
　また、上記した各実施形態及び変形例において、検出部６９は、測定対象物２上の領域であって、他の領域に対して輝度が変化している角部や上面の模様などを特徴領域として検出しているが、例えば測定対象物２上に配置されたマーカを特徴領域（第１特徴領域または第２特徴領域）として検出してもよい。
　また、上記した各実施形態及び変形例において、テクスチャーＡ０５～Ａ０９のそれぞれは、少なくとも３つの特徴領域を含んでいるが、これに限定されず、１つまたは２つの特徴領域を含むものでもよい。また、図８（ａ）では、テクスチャーＡ０６の特徴領域Ａ０６１～Ａ０６３を図示しているが、他の部分が特徴領域として用いられてもよい。また、上記した各実施形態及び変形例において、テクスチャーＡ０５～Ａ０９が少なくとも３つの特徴領域を含む場合、撮像視野２１０Ａ内に、いずれか１つのテクスチャーが入るように撮像されてもよい。
　また、図６ではステップＳ０３により、第１撮像部５０Ａの撮像視野２１０Ａと第２撮像部５０Ｂの撮像視野２１０Ｂとの相対的な位置関係を求めるが、このステップＳ０３はなくてもよい。ステップＳ０３を行わない場合、制御部６２は、検出部６９によってライブビュー画像Ｌ２から特徴領域を検出せず、撮像視野２１０Ａと撮像視野２１０Ｂとの相対的な位置関係を算出しない。また、表示装置７０は、図８（ｂ）に示すように撮像視野２１０Ａを重ねて表示しない。制御部６２は、ステップＳ０３がないので、ステップＳ０４以降の処理を進めすることができ、形状測定に要する時間を短縮できる。
　また、上記した各実施形態及び変形例において、検出部６９は、特徴領域としてコントラストが低いものでも検出する可能性がある。この場合、特徴領域と異なる領域が誤って特徴領域として検出されることにより、三次元データの連結の成功率が低下する一因となる。これに対して、例えば、検出部６９（演算部６５）は、各特徴領域のコントラストが他の領域に対して識別可能な程度に高いか否かを判断し、高い場合に特徴領域として使用することを行ってもよい。これにより、特徴領域の数のみに基づく場合に比べて、有効な特徴領域を用いるので三次元データの連結の成功率を向上できる。
　また、特徴領域の数やコントラストに基づいて特徴領域を用いる場合でもあっても、例えば、狭い領域内に集まった特徴領域や、同一線上に並んだ特徴領域が検出される場合がある。この場合、３つの特徴領域を用いても三次元データの連結の成功率が低下する可能性がある。これに対して、例えば、検出部６９（演算部６５）は、特徴領域の分布を求め、この分布から特徴領域が狭い範囲に集まっていることや、各特徴領域が一直線上に配置されていることなど、各特徴領域を用いて形状測定装置１の回転及び並進の算出や、三次元データの連結が可能か否かを判断してもよい。検出部６９が算出または連結不能と判断した場合、ユーザは、特徴領域の分布が変わるように測定対象物２の撮像位置を変えて撮像する。この新たな参照像を用いることにより三次元データの連結の成功率を向上できる。なお、検出部６９は、新たな参照像についても、各特徴領域を用いて形状測定装置１の回転及び並進の算出や、三次元データの連結が可能か否かを判断してもよい。
　また、図６のステップＳ０５において、ユーザへの通知は、測定対象物２上に撮像視野２１０Ａ内で特徴領域の数が形状測定装置１の回転及び並進を算出するために最低限必要な数よりも少ないこと、各特徴領域のコントラストが他の領域に対して識別可能な程度に高くないこと、各特徴領域が一直線上に配置されているなど各特徴領域が形状測定装置１の回転及び並進を算出可能となるように分布されていないこと、のうち、少なくとも１つを含んでもよい。ユーザは、この検出結果を基にして、例えば特徴領域の数が形状測定装置１の回転及び並進を算出するために最低限必要な数よりも少ないこと、各特徴領域のコントラストが他の領域に対して識別可能な程度に高くないこと、または、各特徴領域が一直線上に配置されているなど、各特徴領域が形状測定装置１の回転及び並進を算出可能となるように分布されていないこと、などを判断することができる。
　また、上記した各実施形態及び変形例において、測定対象物２と形状測定装置１との相対位置が変化した第１部分の画像と、第２部分の画像とのそれぞれに、形状測定装置１の回転及び並進を算出するのに十分な数の特徴部分を必要とするが、その特徴部分の数は、検出部６９で検出可能な形状やコントラスト等の範囲を有する特徴部分の数であってもよい。
　なお、本発明の趣旨を逸脱しない範囲で、各実施の形態に、多様な変更または改良を加えることが可能である。また、各実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、各実施形態や変形例の構成を適宜組み合わせて適用することも可能である。また、法令で許容される限りにおいて、各実施形態及び変形例で引用した測定装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
　Ａ０１～Ａ０４、Ａ０６１～Ａ０６２…特徴領域、Ａ０５～Ａ１０…テクスチャー、ＭＣ、ＭＣ２…マーカ、ＳＹＳ…構造物製造システム、Ｐ…縞パターン、Ｉｍ１、Ｉｍ２…広視野参照像、Ｉｍ３、Ｉｍ４…参照像、１…形状測定装置（測定装置）、２…測定対象物、１０…投影部、２０…光生成部、４０…走査部、５０…撮像部、５０Ａ…第１撮像部、５０Ｂ…第２撮像部、６０…演算処理部、６２…制御部、６２ａ…第１制御部、６２ｂ…第２制御部、６５…演算部、６９…検出部、７０…表示装置、８０…音声出力装置、８５…通知部、１００…投影光、１０１…構造光

Claims (18)

  1. 　測定対象物の三次元形状を測定する三次元形状測定装置において、
    　前記測定対象物を撮像する撮像部と、
    　前記撮像部で撮像された前記測定対象物の画像に基づいて前記測定対象物の特徴領域を検出する検出部と、
    　前記検出部で検出した結果に基づく特徴領域情報をユーザに通知する通知部と、
    　前記撮像部で撮像された複数の前記測定対象物の画像に基づいて、前記測定対象物の三次元形状を算出する測定部と、
    　を備えることを特徴とする三次元形状測定装置。
  2. 　前記特徴領域情報は、前記検出部で検出された第１特徴領域とは異なる新たな第２特徴領域の付与位置に関する付与情報を含む
    　請求項１に記載の三次元形状測定装置。
  3. 　前記付与情報は、前記第２特徴領域を付与する領域に関する情報と、前記第２特徴領域を付与する数に関する情報との少なくとも１つを含む
    　請求項２に記載の三次元形状測定装置。
  4. 　前記付与情報は、前記第１特徴領域の数、前記第１特徴領域のコントラスト、及び前記第１特徴領域の分布のうち少なくとも１つに基づいて生成される
    　請求項２又は請求項３に記載の三次元形状測定装置。
  5. 　前記付与情報は、前記撮像部の視野に特徴領域が含まれるように前記第１特徴領域と前記撮像部の視野との関係に基づいて生成される
    　請求項１から請求項４のうちいずれか一項に記載の三次元形状測定装置。
  6. 　前記撮像部の視野は、長方形であり、
    　前記関係は、前記長方形に内接する円の直径以下の円領域と、前記第１特徴領域との関係を含む
    　請求項５に記載の三次元形状測定装置。
  7. 　前記第２特徴領域は、前記測定対象物を含む所定領域に配置可能な指標部材、及び前記測定対象物の所定領域に投影される指標像のうち少なくとも一方が含まれる
    　請求項２から請求項６のうちいずれか一項に記載の三次元形状測定装置。
  8. 　前記通知部は、聴覚的情報、視覚的情報及び触覚的情報のうち少なくとも１つによって前記特徴領域情報をユーザに通知する
    　請求項１から請求項７のうちいずれか一項に記載の三次元形状測定装置。
  9. 　前記検出部は、前記測定部において前記測定対象物の三次元形状を算出する場合に用いる画像に対応する撮像視野よりも広い視野で前記測定対象物を撮像した第２画像に基づいて前記特徴領域を検出する
    　請求項１から請求項８のうちいずれか一項に記載の三次元形状測定装置。
  10. 　前記第２画像を撮像する第２撮像部を更に備える
    　請求項９に記載の三次元形状測定装置。
  11. 　前記撮像部は、前記測定対象物との相対位置が異なる第１位置及び第２位置のそれぞれの位置で前記測定対象物の複数の画像を撮像し、
    　前記測定部は、前記第１位置で撮像された前記測定対象物の複数の画像に基づいて、前記測定対象物の三次元形状に応じた第１点群を生成し、前記第２位置で撮像された前記測定対象物の複数の画像に基づいて、前記測定対象物の三次元形状に応じた第２点群を生成し、前記特徴領域に基づいて前記第１点群と前記第２点群とを連結する
    　請求項１から請求項１０のうちいずれか一項に記載の三次元形状測定装置。
  12. 　測定対象物の三次元形状を測定する三次元形状測定方法において、
    　前記測定対象物を撮像することと、
    　撮像された前記測定対象物の画像に基づいて前記測定対象物の特徴領域を検出することと、
    　検出された結果に基づく特徴領域情報をユーザに通知することと、
    　撮像された複数の前記測定対象物の画像に基づいて、前記測定対象物の三次元形状を算出することと、
    　を含むことを特徴とする三次元形状測定方法。
  13. 　前記特徴領域情報は、前記検出部で検出された第１特徴領域とは異なる新たな第２特徴領域の付与位置に関する付与情報を含む
    　請求項１２に記載の三次元形状測定方法。
  14. 　前記付与情報は、前記第２特徴領域を付与する領域に関する情報と、前記第２特徴領域を付与する数に関する情報との少なくとも１つを含む
    　請求項１３に記載の三次元形状測定方法。
  15. 　前記付与情報は、前記第１特徴領域の数、前記第１特徴領域のコントラスト、及び前記第１特徴領域の分布のうち少なくとも１つに基づいて生成される
    　請求項１３又は請求項１４に記載の三次元形状測定方法。
  16. 　構造物の形状に関する設計情報を作製する設計装置と、
    　前記設計情報に基づいて前記構造物を作製する成形装置と、
    　作製された前記構造物の形状を測定する請求項１から請求項１１のうちいずれか一項に記載の三次元形状測定装置と、
    　前記三次元形状測定装置によって得られた前記構造物の三次元形状に関する形状情報と前記設計情報とを比較する検査装置と、
    　を含むことを特徴とする構造物製造システム。
  17. 　構造物の形状に関する設計情報を作製することと、
    　前記設計情報に基づいて前記構造物を作製することと、
    　作製された前記構造物の形状を測定する請求項１２から請求項１５のうちいずれか一項に記載の三次元形状測定方法と、
    　前記三次元形状測定方法によって得られた前記構造物の三次元形状に関する形状情報と前記設計情報とを比較することと、
    　を含むことを特徴とする構造物製造方法。
  18. 　測定対象物の三次元形状を測定する三次元形状測定装置に含まれるコンピュータに、
    　前記測定対象物を撮像する処理と、
    　撮像された前記測定対象物の画像に基づいて前記測定対象物の特徴領域を検出する処理と、
    　検出された結果に基づく特徴領域情報をユーザに通知する処理と、
    　撮像された複数の前記測定対象物の画像に基づいて、前記測定対象物の三次元形状を算出する処理と、
    　を実行させることを特徴とする三次元形状測定プログラム。
PCT/JP2015/050787 2015-01-14 2015-01-14 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム WO2016113861A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050787 WO2016113861A1 (ja) 2015-01-14 2015-01-14 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050787 WO2016113861A1 (ja) 2015-01-14 2015-01-14 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム

Publications (1)

Publication Number Publication Date
WO2016113861A1 true WO2016113861A1 (ja) 2016-07-21

Family

ID=56405425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050787 WO2016113861A1 (ja) 2015-01-14 2015-01-14 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム

Country Status (1)

Country Link
WO (1) WO2016113861A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313676B2 (en) * 2018-02-07 2022-04-26 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method, and three-dimensional measurement non-transitory computer readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180137A (ja) * 1998-12-11 2000-06-30 Sony Corp 形状計測装置および形状表示方法
JP2011047863A (ja) * 2009-08-28 2011-03-10 Konica Minolta Sensing Inc 三次元形状データ処理装置、三次元形状データ処理システムおよび三次元形状測定システム
JP2011075336A (ja) * 2009-09-29 2011-04-14 Panasonic Electric Works Co Ltd ３次元形状計測装置、３次元形状計測方法
JP2012093234A (ja) * 2010-10-27 2012-05-17 Nikon Corp 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2013079960A (ja) * 2011-09-30 2013-05-02 Steinbichler Optotechnik Gmbh 対象物の三次元座標を決定する方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180137A (ja) * 1998-12-11 2000-06-30 Sony Corp 形状計測装置および形状表示方法
JP2011047863A (ja) * 2009-08-28 2011-03-10 Konica Minolta Sensing Inc 三次元形状データ処理装置、三次元形状データ処理システムおよび三次元形状測定システム
JP2011075336A (ja) * 2009-09-29 2011-04-14 Panasonic Electric Works Co Ltd ３次元形状計測装置、３次元形状計測方法
JP2012093234A (ja) * 2010-10-27 2012-05-17 Nikon Corp 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
JP2013079960A (ja) * 2011-09-30 2013-05-02 Steinbichler Optotechnik Gmbh 対象物の三次元座標を決定する方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313676B2 (en) * 2018-02-07 2022-04-26 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method, and three-dimensional measurement non-transitory computer readable medium

Similar Documents

Publication Publication Date Title
JP6112807B2 (ja) 形状測定装置、形状測定方法および形状測定プログラム
KR101824888B1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
JP2016535661A (ja) 眼表面のマッピング
JP2017110991A (ja) 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
WO2013054814A1 (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、形状測定プログラム
JP2015045587A (ja) 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015102485A (ja) 形状測定装置、光走査装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP2014089062A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP6701745B2 (ja) 三次元形状測定方法、変位測定方法、三次元形状測定装置、変位測定装置、構造物製造方法、構造物製造システム、及び三次元形状測定プログラム
JP7093915B2 (ja) 表面形状測定方法
JP2024029135A (ja) 対向配置チャネルを有する三次元センサ
JP2012194145A (ja) 情報表示装置、情報表示方法、及びプログラム
JP2016048239A (ja) 物体の３ｄ座標を測定するための方法および装置
JP2016011930A (ja) 三次元データの連結方法、測定方法、測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
JP2015206749A (ja) 三次元データの連結方法、形状測定方法、三次元データの連結装置、形状測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
JP2014134611A (ja) 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
WO2016113861A1 (ja) 三次元形状測定装置、三次元形状測定方法、構造物製造システム、構造物製造方法、及び測定プログラム
JP2014055814A (ja) 形状測定装置、形状測定方法および形状測定プログラム
JP2021177157A (ja) アイウェア表示システム
JP2015203588A (ja) 検出装置、検出方法、形状測定装置、形状測定方法、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP5375479B2 (ja) 三次元測定システムおよび三次元測定方法
JP2012216981A (ja) ステレオカメラのキャリブレーション方法及び情報処理装置
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15877815

Country of ref document: EP

Kind code of ref document: A1