WO2020262389A1 - 計測装置、撮像装置、計測システム、制御方法及びプログラム - Google Patents

計測装置、撮像装置、計測システム、制御方法及びプログラム Download PDF

Info

Publication number
WO2020262389A1
WO2020262389A1 PCT/JP2020/024635 JP2020024635W WO2020262389A1 WO 2020262389 A1 WO2020262389 A1 WO 2020262389A1 JP 2020024635 W JP2020024635 W JP 2020024635W WO 2020262389 A1 WO2020262389 A1 WO 2020262389A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
image
subject
viewpoints
measuring device
Prior art date
Application number
PCT/JP2020/024635
Other languages
English (en)
French (fr)
Inventor
章成 高木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020106407A external-priority patent/JP2021009140A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202080047551.7A priority Critical patent/CN114080535A/zh
Publication of WO2020262389A1 publication Critical patent/WO2020262389A1/ja
Priority to US17/560,523 priority patent/US20220113131A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the present invention relates to a measuring device, an imaging device, a measuring system, a control method and a program, and particularly to a measuring technique in which a plurality of methods of distance measurement including a stereo method are used in combination.
  • a technique for acquiring distance information and shape information of a subject by using the principle of triangulation from an image obtained by imaging a so-called stereo method
  • a passive stereo method in which the shape of a subject is measured by the principle of triangulation using a parallax image pair acquired by imaging the same subject with two imaging devices placed at different positions.
  • a pattern projection stereo method as a method for measuring the shape of an object having a small texture or in a dark place.
  • a predetermined pattern is projected onto a subject by a projection device and an image is taken by an image pickup device placed at a position different from that of the projection device, and the positional relationship between the projection device and the image pickup device and the image obtained by the imaging are displayed. From the positional relationship of the patterns of, the distance information and shape information of the subject are acquired using the principle of triangulation. Further, for the purpose of improving accuracy and the like, a hybrid type in which the pattern projection stereo method and the passive stereo method are used in combination has also been proposed (Patent Document 1).
  • Patent Document 1 proposes a hybrid type in which a passive stereo method and a pattern projection stereo method are used in combination, but the specific configuration and method thereof are not disclosed.
  • the stereo method uses the principle of triangulation, it is important that the positional relationship between the two elements that generate parallax is default (known) and stable in order to obtain high measurement accuracy.
  • the two elements are two imaging devices in the passive stereo method, and a projection device and an imaging device in the pattern projection stereo method. Therefore, when the passive stereo method and the pattern projection stereo method are used in combination, the positional relationship between the two imaging devices and the positional relationship between one imaging device and the projection device are known and stable. It is important to have high measurement accuracy.
  • the range in which the position and orientation of the projection can be adjusted is limited, for example, by projecting a pattern according to the shape of the subject so as not to cause shadows. , There is also a problem that usability is reduced.
  • the pattern projection is only for the purpose of improving the passive stereo method, and is different from the configuration in which the pattern projection stereo method is used together. Therefore, there is a problem that the measurement stability and accuracy are lower than those of the hybrid type.
  • the present invention aims to alleviate at least one of the problems of the prior art, and is a measuring device that realizes good measurement accuracy while suppressing an increase in the scale of the device and a decrease in usability. It is an object of the present invention to provide an imaging device, a measurement system, a control method and a program.
  • a measuring device having a projection device that projects a predetermined pattern on a subject and an imaging system that captures image groups from at least two different viewpoints.
  • the distance between the viewpoints is shorter than the distance between the projection device and the viewpoints.
  • It has a relative position calculation means for obtaining a relative position of the projection device with respect to at least one of the viewpoints from the pattern image position on the image group and the positional relationship between the viewpoints.
  • a measuring device characterized in that distance information of the subject is acquired from the relative position and the pattern image position on the image at the viewpoint.
  • Block diagram showing the functional configuration of the measurement system according to the embodiment of the present invention A flowchart illustrating the distance measurement process executed by the measuring device 150 according to the first embodiment. The figure for demonstrating the projection mode of the pattern in 1st Embodiment A flowchart showing a modified example of the distance measurement process executed by the measuring device 150 according to the first embodiment. A flowchart showing another modification of the distance measurement process executed by the measuring device 150 according to the first embodiment. The figure which illustrated the method of calculating the position and the posture of the projection apparatus 110 which concerns on 1st Embodiment.
  • Block diagram showing the functional configuration of the measurement system according to the second embodiment The figure for demonstrating the detailed configuration of the imaging system 120 which concerns on 2nd Embodiment
  • the figure which illustrated the captured image obtained in the state which made the pattern projection which concerns on 3rd Embodiment A flowchart showing a modified example of the distance measurement process executed by the measuring device 150 according to the third embodiment.
  • a flowchart illustrating the distance measurement process executed by the measuring device 150 according to the fourth embodiment The figure which illustrated the captured image obtained in the state which made the pattern projection which concerns on 4th Embodiment
  • One embodiment described below includes two imaging devices (cameras) and one projection device as an example of a measurement system, and a measuring device to which these are connected, and measures the distance from the imaging device to the subject.
  • An example in which the present invention is applied to a possible measurement system will be described.
  • the present invention can be applied to any device capable of measuring the distance in the depth direction using the passive stereo method in the state where the pattern is projected.
  • FIG. 1 shows a configuration example of the measurement system 100 in the present invention.
  • the measurement system 100 includes a projection device 110 that projects a pattern on a subject, an imaging system 120 that acquires a parallax image based on a luminous flux from the subject, and a measurement device 150.
  • the projection device 110 is composed of a projection optical system 111, a pattern unit 112 having an illumination unit such as a spatial modulator, a reticle, and an LED.
  • Reference numeral 113 denotes an exit pupil of the projection optical system 111
  • 114 is a projection axis representing the projection direction of the projection device 110.
  • the projection device 110 has a control unit (not shown) such as a microcomputer including a ROM in which a control program of each block of the projection device 110 is recorded and a RAM used as an expansion area of the control program, and has a pattern unit 112. It controls and projects a pattern (light) on the subject.
  • the imaging system 120 is composed of a first camera 130 and a second camera 140, and captures image groups from two different viewpoints.
  • the first camera 130 has a first image pickup optical system 131 and a first image pickup element 132 such as a CCD or a CMOS sensor, with the first incident pupil 133 of the first image pickup optical system 131 as a viewpoint.
  • An image is taken with the image pickup axis 134 of 1 as the image pickup direction.
  • the second camera 140 has a second image pickup optical system 141 and a second image pickup element 142 such as a CCD or a CMOS sensor, with the second incident pupil 143 of the second image pickup optical system 141 as a viewpoint.
  • An image is taken with the image pickup axis 144 of No. 2 as the image pickup direction.
  • the distance between the first entrance pupil 133 and the second entrance pupil 143 is set to be shorter than the distance between the exit pupil 113 of the projection device and the first entrance pupil 133 of the imaging system 120. ing. Further, each of the first camera 130 and the second camera 140 performs image processing such as development and correction on the image signal output from the control unit including the CPU, ROM, and RAM, and the image sensor, and obtains the captured image of digital data. It is provided with a configuration generally provided in a digital camera, such as an image processing unit for generating.
  • the measuring device 150 has a control unit 151 including a CPU, a memory 152, a relative position calculation unit 154, and a distance shape calculation unit 153.
  • the control unit 151 reads the operation program of each block stored in the non-volatile portion of the memory 152 (hereinafter, referred to as ROM for convenience), expands the operation program of each block into another area of the memory 152, and executes the operation of each block. Control. Further, the measuring device 150 is connected to the imaging system 120 and the projection device 110, which are external devices, and can transmit and receive data to and from each device.
  • each process of this flow is executed by the control unit 151 of the measuring device 150 executing the corresponding control program, or by operating each block under the control of the control unit 151 or the control unit 151.
  • step S1501 the control unit 151 gives an instruction to project a pattern to the projection device 110 via the communication unit, and also instructs the image pickup system 120 to take an image in a state where the pattern is projected to the image pickup system 120 via the communication unit.
  • a pair of parallax images obtained by imaging is acquired from.
  • the projection device 110 receives an instruction from the measurement device 150 and projects the pattern 200 onto the subject in the direction of the projection axis 114 by the pattern unit 112 and the projection optical system 111.
  • the imaging system 120 captures a parallax image of the subject and the pattern 200 with the first camera 130 and the second camera 140.
  • the distance shape calculation unit 153 calculates the primary distance information of the subject from the positions of the subject and the pattern image on the captured parallax image and the positional relationship of each viewpoint by a known method of the passive stereo method.
  • the relative position calculation unit 154 determines the position and orientation of the projection device 110 with respect to the position of the first entrance pupil 133 of the imaging system 120 from the position of the primary distance information of the subject and the pattern image on the parallax image.
  • the position of a certain exit pupil 113 and the projection axis 114 are calculated.
  • the position and orientation of the projection device 110 will be described as being relative to the position and orientation of the first camera 130.
  • the position / orientation relative to the position / orientation of the second camera 140 may be used.
  • step S1504 the distance shape calculation unit 153 uses a known method of the pattern projection stereo method from the calculated position / orientation of the projection device 110, the position / orientation of the imaging system 120, and the position of the pattern image on the parallax image. Calculate the secondary distance information of the subject.
  • step S1505 the control unit 151 stores the calculated secondary distance information in a storage unit (not shown), or outputs the calculated secondary distance information to an external device via a recording unit, a communication unit, or the like.
  • the distance (baseline length) between the exit pupil 113 of the projection device 110 and the first entrance pupil 133 of the imaging system 120 is between the first entrance pupil 133 and the second entrance pupil 143 of the imaging system 120. Longer than the distance (baseline length). Therefore, the secondary distance information obtained by the pattern projection stereo method by the projection device 110 and the imaging system 120 has higher distance accuracy than the primary distance information obtained by the passive stereo method by the imaging system 120. Therefore, it is only necessary to maintain the positional relationship between the first camera 130 and the second camera of the imaging system 120 at a baseline length shorter than the baseline length required to obtain the desired measurement accuracy. , High distance measurement accuracy can be obtained with a simpler configuration.
  • the control unit 151 integrates the primary distance information obtained by the passive stereo method and the secondary distance information obtained by the pattern projection stereo method in addition to the processing performed in FIG. 2A to integrate the subject.
  • Step S1506 for obtaining the distance information may be performed.
  • Each process of the flow of FIG. 3A is also carried out by the control unit 151 of the measuring device 150 or by operating each block under the control of the control unit 151.
  • the passive stereo method may be able to acquire the primary distance information by using the pattern of the subject as a clue, and by integrating the primary distance information and the secondary distance information, it is possible to obtain the distance information without any loss.
  • the control unit 151 calculates the position and orientation of the projection device 110, the position of the exit pupil 113, and the projection axis 114 from the primary distance information of the subject and the position of the pattern image on the parallax image.
  • FIG. 4 shows a case where a pattern is projected onto the subject 300 to measure the distance.
  • a pattern is projected from the exit pupil 113 of the projection device 110 in the direction of the projection axis 114, and parallax images are acquired for the first entrance pupil 133 of the first camera 130 and the second entrance pupil 143 of the second camera 140.
  • the primary distance information of arbitrary two places is calculated, and the position of the first entrance pupil 133 of the first camera 130 is obtained.
  • the relative position coordinates with respect to the first entrance pupil 133 are, for example, orthogonal to the first entrance pupil 133 as the origin and the straight line connecting the first entrance pupil 133 and the second entrance pupil 143 as one axis. It is a position coordinate in a Cartesian coordinate system in which another axis is set in the direction of the movement.
  • a circle 310 in which ⁇ 1 is the inscribed angle is obtained through the two points of the pattern 201 and the pattern 202.
  • the exit pupil 113 of the projection device is present at any position on the circumference of the circle 310.
  • the projection angle ⁇ 1 is known information about the projection device 110, and is determined from, for example, the geometric relationship between the pattern unit 112 and the projection optical system 111.
  • the primary distance information of another one place is calculated, and the pattern of the pattern with respect to the position of the first entrance pupil 133 of the first camera 130 is calculated. Find the relative position coordinates.
  • a circle 311 in which ⁇ 2 is the inscribed angle is obtained through the two points of the pattern 202 and the pattern 203.
  • the exit pupil 113 of the projection device is present at any position on the circumference of the circle 311. That is, the intersection of the circle 310 and the circle 311 that is not the pattern 202 is the position of the exit pupil 113.
  • a pattern on the projection axis is selected as the pattern 202.
  • the straight line including the line segment connecting the position of the exit pupil 113 and the position of the pattern 202 becomes the projection axis 114. In this way, the position of the exit pupil 113 and the projection axis 114, which are the positions and postures of the projection device 110, can be calculated from the primary distance information of the subject and the position of the pattern image on the parallax image.
  • the relative position information of three places on the surface of the subject is used, but the position of the exit pupil 113 is performed with higher accuracy by using the information of four or more places and using an averaging process or the like. And the projection axis 114 may be obtained. Further, when there is prior information regarding the coordinates of the position of the exit pupil 113 and the direction of the projection axis 114, the position of the exit pupil 113 and the projection axis 114 can be obtained from the relative position information of the two locations.
  • the circle 310 obtained from the relative position information at two locations and the projection axis 114 passing through the position of the pattern 202 The intersection of is the position of the exit pupil 113.
  • the method of obtaining the position of the exit pupil 113 of the projection device 110 and the projection axis 114 by using the geometric relationship as shown in FIG. 4 is not limited to the process shown in the present embodiment.
  • any method may be used in which the relative position of the projection device with respect to at least one viewpoint is obtained by using the pattern image position on the parallax image acquired by the imaging system 120 and the positional relationship between the viewpoints as input information, and intermediate data such as primary distance information can be obtained.
  • a method that is not used may be used.
  • the position and orientation of the projection device 110 are plotted in a two-dimensional plane including a line segment connecting the first entrance pupil 133 and the second entrance pupil 143 of the imaging system 120 by using FIG. Explained how to ask for. If the position of the exit pupil 113 of the projection device 110 is not in this two-dimensional plane, the geometric relationship is formed even in a plane orthogonal to the plane shown in FIG. 4, including the first entrance pupil 133 of the first camera 130. The position and orientation of the projection device 110 are obtained by using. The three-dimensional position and orientation can be obtained by synthesizing the position and orientation obtained in each plane.
  • the projection device 110 is arranged at a position on an extension of a straight line connecting the first entrance pupil 133 and the second entrance pupil 143 of the imaging system 120.
  • the position and orientation of the projection device 110 need only be obtained in the two-dimensional plane, and the amount of calculation can be reduced, so that the speed can be increased and the power consumption can be suppressed.
  • the position and orientation of the projection device 110 can be obtained when necessary, the position and orientation of the projection device 110 can be made variable without being fixed to the default state. As a result, the direction and position of projecting the pattern can be determined so that the shape of the subject does not block the subject, and the conditions of the measurable subject can be greatly expanded.
  • the position and orientation of the projection device 110 need not always be obtained for each measurement.
  • the position / orientation of the projection device 110 may be obtained when the position / orientation of the projection device 110 is actively changed or when there is a concern about a change in the positional relationship due to a disturbance such as an environmental temperature change or vibration. ..
  • a line segment extending in a direction perpendicular to the straight line connecting the first entrance pupil 133 and the second entrance pupil 143 of the imaging system 120 is in the direction of the straight line (in a pair of parallax images). It is preferable that the pattern is a striped pattern arranged substantially periodically in the direction in which parallax occurs). With this configuration, a parallax image with high contrast in the parallax direction of the imaging system 120 can be acquired, and the measurement accuracy of the primary distance information by the passive stereo method can be improved.
  • the projection of such a suitable pattern can also be realized by dynamically constructing the pattern based on the captured image obtained by capturing the test pattern in the imaging system 120 after the test pattern is projected.
  • the imaging system 120 can easily estimate the positional relationship in the pupil division direction of the subject at the position where each pattern is projected from the positional relationship between the patterns (for example, the positional relationship between the stripes in the striped pattern). You can.
  • the pattern used when obtaining the relative position of the projection device using the passive stereo method and the pattern used when acquiring the distance information by the pattern projection stereo method may be different.
  • the measurement system 100 may perform measurement in the flow shown in FIG. 3B in addition to the processing shown in FIG. 2A. Each process of the flow of FIG. 3B is also carried out by the control unit 151 of the measuring device 150 or by operating each block under the control of the control unit 151.
  • the projection device 110 projects a pattern generally used in pattern projection stereo such as random dots and grades, and the subject on which the pattern is projected is imaged by the imaging system 120 to form a pair of parallax images. Is obtained.
  • the pattern used in the pattern projection stereo method is projected as a pattern suitable for the shape of the subject, such as changing the fineness of the pattern by using the primary distance information, the distance information can be acquired with higher accuracy. ..
  • FIG. 5A the image pickup system 120 is different from the first embodiment in that the camera 400 is configured.
  • the processing flow includes the example shown in FIG. 2A and is the same as that of the first embodiment.
  • the camera 400 is composed of an image pickup optical system 401 and an image sensor 402.
  • the image sensor 402 has two photoelectric conversion units in one pixel.
  • the pixel of the image sensor 402 is composed of a microlens 403, a first photoelectric conversion unit 404, and a second photoelectric conversion unit 405.
  • the photoelectric conversion unit and the pupil of the imaging optical system 401 are in an optically conjugate relationship via the microlens 403, and the pupil of the imaging optical system is divided to acquire parallax images from different viewpoints. There is.
  • the image obtained by using the image signal from the first photoelectric conversion unit 404 is an image with the second entrance pupil 143 in the first embodiment as a viewpoint, which corresponds to a part of the pupil region of the imaging optical system 401. It is an image corresponding to. Further, the image obtained by using the image signal from the second photoelectric conversion unit 405 of each pixel corresponds to the other part of the pupil region of the imaging optical system 401, and the first incident in the first embodiment. The image is based on the pupil 133. Further, the image obtained by adding the image signal from the first photoelectric conversion unit 404 of each pixel and the image signal from the second photoelectric conversion unit 405 of each pixel has the entrance pupil 406 as a viewpoint. It becomes an image.
  • a pair of parallax images can be acquired by one imaging optical system 401 and one imaging element 402, so that the present embodiment is different from the first embodiment using a plurality of cameras. It is possible to construct a more mechanically stable image pickup system with a short baseline length, and it is possible to stably obtain high distance measurement accuracy with a simpler configuration.
  • FIG. 6A is a processing flow, and the pattern is projected and imaged in step S1511.
  • FIG. 6B is an example of an image from the viewpoint of the first entrance pupil 133 acquired by the imaging system 120 by projecting a pattern with the projection device 110 using the measurement system 100 shown in FIG. 5A.
  • the pattern to be projected is a striped pattern in which line segments extending in a direction perpendicular to the straight line connecting the first entrance pupil 133 and the second entrance pupil 143 of the imaging system 120 are arranged substantially periodically in the direction of the straight line. It is a pattern.
  • the subject is a plane and a hemispherical object placed on the plane.
  • step S1512 the distance shape calculation unit 153 calculates the primary distance information of the subject from the parallax image captured by the passive stereo method.
  • the distance shape calculation unit 153 generates surface normal information from the stripe spacing of the striped pattern image in any of the parallax images.
  • the stripe spacing of the striped pattern image represents the inclination of the surface in the periodic direction of the stripes, and is the same as the stripe spacing of the projection pattern when the surfaces face each other in the observation direction, and the stripe spacing becomes the same when the surface normal is inclined. It gets narrower. As shown in FIG. 6B, for example, the stripes in the plane region 210 are straight and evenly spaced. On the other hand, the fringes in the curved region 211 become curved, and the fringe spacing changes depending on the location.
  • step S1513 the distance shape calculation unit 153 obtains the local fringe interval for each place in the image, and thereby, the surface normal information at the local position of the subject can be acquired. Further, in step S1514, the distance shape calculation unit 153 integrates the primary distance information and the surface normal information to generate highly accurate distance shape information.
  • step S1515 the control unit 151 stores the calculated high-precision distance shape information in a storage unit (not shown), or outputs it to an external device via a recording unit, a communication unit, or the like.
  • the primary distance information obtained by the passive stereo method and the surface normal information using the fringe spacing are in a differential / integral relationship. That is, the integral of the surface normal and the distance information, or the derivative of the surface normal and the distance information are essentially the same. Therefore, the distance shape calculation unit 153 can compare these and reduce the variation by removing or averaging the obvious error values. Alternatively, variation can be suppressed by using information obtained by integrating the surface normals for the flat surface portion and using distance information for the step amount in the stepped portion. By integrating the primary distance information and the surface normal information in this way, it is possible to acquire the distance shape information with higher accuracy than the distance shape information obtained by a single measurement method.
  • the order of step S1512 and step S1513 may be interchanged.
  • step S1516 when the pattern used when obtaining the primary distance information by using the passive stereo method and the surface normal information are acquired from the stripe spacing.
  • the pattern used may be different.
  • Each process of the flow of FIG. 7A is also carried out by the control unit 151 of the measuring device 150 or by operating each block under the control of the control unit 151.
  • the control unit 151 gives an instruction to project a pattern to the projection device 110 via the communication unit, and also instructs the image pickup system 120 to take an image in a state where the pattern is projected to the image pickup system 120 via the communication unit. A pair of parallax images obtained by imaging from the above are newly acquired.
  • the stripe interval is narrower when the surface normal information is acquired in step S1516 than when the pattern used when obtaining the primary distance information in S1511 is obtained.
  • spatially dense surface normal information can be acquired.
  • the orthogonal striped patterns may be switched and projected, or the grid pattern or the dotted line pattern obtained by synthesizing the orthogonal striped patterns may be projected. With this configuration, the normals in the orthogonal axial directions can be obtained, so that the surface normal information of the subject can be acquired with higher accuracy.
  • the pattern at the time of acquiring the surface normal information may be selected based on the primary distance information. For example, if the distance from the projection device is far, the projection pattern image becomes coarse, and if it is close, the projection pattern image becomes fine. Therefore, the pattern size is controlled so as to have the stripe spacing required for acquiring surface normal information according to the distance. ..
  • the pattern size is controlled so as to have the stripe spacing required for acquiring surface normal information according to the distance. ..
  • the direction in which the surface is tilted can be roughly understood from the primary distance information, if a striped pattern in the direction orthogonal to the tilted direction is selected and projected, or a fine pattern is projected, the amount of tilt of the surface ( The amount of inclination of the surface normal) can be obtained with high accuracy.
  • the pattern used in the passive stereo method may be selected based on the surface normal information. If the surface normal is tilted, the striped pattern image becomes too coarse, the parallax images cannot correspond to each other, and the distance measurement accuracy is lowered. Therefore, the projection pattern is made finer on the tilted surface. As a result, distance information can be acquired with high accuracy. As a result, it is possible to project in a pattern suitable for the shape of the subject, so that distance information can be acquired with higher accuracy.
  • the pattern used when acquiring the surface normal information is a striped shape in which line segments extending in a direction perpendicular to a straight line connecting the viewpoints of the projection device 110 and the imaging system 120 are arranged substantially periodically in the straight line direction. It is desirable that the pattern is. With this configuration, the change in the stripe spacing with respect to the surface normal becomes large, and the surface normal can be detected with high accuracy.
  • the distance information acquired by the pattern projection stereo method may be used.
  • Each process of the flow of FIG. 7B is also carried out by the control unit 151 of the measuring device 150 or by operating each block under the control of the control unit 151.
  • step S1517 the relative position calculation unit 154 calculates the position and orientation of the projection device 110 with respect to the position of the imaging system 120 from the primary distance information of the subject and the position of the pattern image on the parallax image.
  • the distance shape calculation unit 153 uses the pattern projection stereo method to secondary the subject from the calculated position / orientation of the projection device 110, the position / orientation of the imaging system 120, and the position of the pattern image on the parallax image. Calculate the distance information.
  • step S1514 the distance shape calculation unit 153 compares the primary distance information, the secondary distance information, and the surface normal information, and removes and averages the error values to obtain more stable and highly accurate distance shape information. Can be obtained.
  • more accurate distance shape information can be obtained by integrating the primary distance information obtained by the passive stereo method and the surface normal information using the stripe spacing to calculate one distance shape information. Can be generated.
  • the boundary region of the subject is extracted by analyzing the continuity of the stripes in the image based on the striped pattern projected by the projection device 110, and the information is used to obtain the distance shape information with high accuracy. To get.
  • the processing flow according to this embodiment will be described with reference to FIG. 8A. Each process of the flow of FIG. 8A is also carried out by the control unit 151 of the measuring device 150 or by operating each block under the control of the control unit 151.
  • step S1521 the control unit 151 gives an instruction to project the striped pattern to the projection device 110 via the communication unit, and also instructs the imaging system 120 to take an image with the striped pattern projected via the communication unit. , Acquire a pair of parallax images obtained by imaging from the imaging system 120.
  • step S1522 the distance shape calculation unit 153 generates boundary portion information of the subject.
  • the stripes in the flat region 210 have a constant line direction, and the stripes in the curved region 211 have a changing line direction, but the change is gradual.
  • the region (boundary portion) 212 where the change in distance is large the direction of the line changes rapidly.
  • FIG. 8B is an example of an image of a subject composed of a flat surface and a flat object placed at a position separated from each other in the depth direction on the front side, and a striped line at the boundary portion 222 of the subject having a step in the depth direction. Is interrupted and becomes discontinuous. By analyzing the continuity of the fringes in this way, it is possible to extract a region where the change in distance is large, that is, a boundary portion of the subject.
  • step S1523 the distance shape calculation unit 153 calculates the primary distance information of the subject from the parallax image captured by the passive stereo method.
  • the distance shape calculation unit 153 generates highly accurate distance shape information from the primary distance information using the boundary portion information of the subject.
  • the stereo method is less accurate in the boundary region where the distance change is large. Therefore, for the extracted boundary region, the distance shape information is created by extending the primary distance information in each region sandwiching the boundary region to the boundary portion without using the primary distance information obtained by the stereo method. To do.
  • the primary distance information of the region 221 is used on the region 221 side across the boundary portion 222, and the primary distance information of the region 220 is used on the region 220 side. In the example shown in FIG.
  • the primary distance information of the region 210 is used on the region 210 side across the boundary portion 212, and the primary distance information on the region 211 side so that the surface normals in the region 211 change continuously. To generate.
  • the boundary region of the subject based on the shape of the stripes and obtaining the distance information based on the boundary region, it is possible to obtain the distance shape information with high accuracy even at the boundary portion where the distance change is large.
  • the distance shape information of the subject can be obtained with higher accuracy.
  • control unit 151 stores the calculated high-precision distance shape information in a storage unit (not shown), or outputs it to an external device via a recording unit, a communication unit, or the like.
  • the boundary region of the subject is extracted by projecting the striped pattern light by the projection device 110 and analyzing the continuity of the stripes in the image including the subject and the pattern light.
  • Distance shape information can be acquired with higher accuracy by using the information of the boundary region.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Abstract

被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得する。

Description

計測装置、撮像装置、計測システム、制御方法及びプログラム
　本発明は、計測装置、撮像装置、計測システム、制御方法及びプログラムに関し、特にステレオ法を含む複数の方式の距離計測を併用する計測技術に関する。
　従来、撮像によって得られた画像から三角測量の原理を用いて、被写体の距離情報や形状情報を取得する技術、所謂ステレオ法が提案されている。例えば、同一被写体を異なる位置に置いた２つの撮像装置で撮像することにより取得した視差画像対を用いて、三角測量の原理で被写体の形状計測を行うパッシブステレオ法がある。また、テクスチャの少ない物体や、暗所での形状計測を行う方法として、パターン投影ステレオ法がある。パターン投影ステレオ法は、投影装置により被写体に既定のパターンを投影して投影装置とは異なる位置に置いた撮像装置により撮像し、投影装置および撮像装置の位置関係と、撮像で得られた画像上のパターンの位置関係とから、三角測量の原理を用いて被写体の距離情報や形状情報を取得するものである。さらに、精度向上などを目的とし、パターン投影ステレオ法とパッシブステレオ法を併用するハイブリッド型も提案されている（特許文献１）。
特開２００２－２８６４１５号公報
　特許文献１にはパッシブステレオ法とパターン投影ステレオ法とを併用するハイブリッド型が提案されているが、その具体的な構成および手法については開示されていない。
　ステレオ法は三角測量の原理を用いるため、視差を発生させる２つの要素の位置関係が既定（既知）かつ安定していることが、高い計測精度を得るために重要である。ここで、２つの要素とは、パッシブステレオ法では２つの撮像装置であり、パターン投影ステレオ法では投影装置と撮像装置である。従って、パッシブステレオ法とパターン投影ステレオ法とを併用する場合には、２つの撮像装置間の位置関係と、１つの撮像装置と投影装置との位置関係のそれぞれが既知であり、かつ、安定していることが高い計測精度を得るために重要である。
　また、三角測量の原理上、視差を発生させる２つの要素間の距離（基線長）が長いほど高い計測精度を得る上で有利である。
　しかしながら、温度環境や振動などの存在下で、２つの要素の位置関係を既知かつ安定させるためには、頑丈に２つの要素を固定する必要があり、計測システムの構成が複雑かつ大型化するという課題がある。さらに、高精度に計測するために２つの要素の間隔である基線長を長くすると、機械的な安定性が低下するため、２つの要素を保持する機構のさらなる大型化の要因になるという課題があった。
　一方で、投影装置と撮像装置の位置関係を固定とすると、例えば影を生じさせないように被写体の形状に応じてパターンを投影する等、投影の位置や向きを調整可能な範囲が制限されるため、使い勝手が低下するという課題も生じる。
　また、投影装置を用いてパターンを投影させることで被写体上にテクスチャを形成できるため、テクスチャの少ない物体や暗所でもパッシブステレオ法での形状計測が可能となる。しかしながら、この場合、パターン投影はあくまでパッシブステレオ法の改善を目的としたものであり、パターン投影ステレオ法が併用される構成とは異なる。従って、ハイブリッド型の場合に比べ、計測の安定性や精度が低いという課題があった。
　本発明は、このような従来技術の課題の少なくともいずれかを軽減することを目的としたものであり、装置規模の増大や使い勝手の低下を抑制しつつ、良好な計測精度を実現する計測装置、撮像装置、計測システム、制御方法及びプログラムを提供することを目的とする。
　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
　前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
　前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
　該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測装置。
　本発明によれば、装置規模の増大や使い勝手の低下を抑制しつつ、良好な計測精度を実現できる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態に係る計測システムの機能構成を示したブロック図 第１の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート 第１の実施形態におけるパターンの投影態様を説明するための図 第１の実施形態に係る計測装置１５０で実行される距離計測処理の変形例を示したフローチャート 第１の実施形態に係る計測装置１５０で実行される距離計測の処理の別の変形例を示したフローチャート 第１の実施形態に係る投影装置１１０の位置および姿勢を算出する方法を例示した図 第２の実施形態に係る計測システムの機能構成を示したブロック図 第２の実施形態に係る撮像システム１２０の詳細構成を説明するための図 第３の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート 第３の実施形態に係るパターン投影がなされた状態で得られる撮像画像を例示した図 第３の実施形態に係る計測装置１５０で実行される距離計測処理の変形例を示したフローチャート 第３の実施形態に係る計測装置１５０で実行される距離計測の処理の別の変形例を示したフローチャート 第４の実施形態に係る計測装置１５０で実行される距離計測処理を例示したフローチャート 第４の実施形態に係るパターン投影がなされた状態で得られる撮像画像を例示した図
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
　以下に説明する一実施形態は、計測システムの一例としての、２つの撮像装置（カメラ）及び１つの投影装置と、これらが接続された計測装置とを含み、撮像装置から被写体までの距離を計測可能な計測システムに、本発明を適用した例を説明する。しかし、本発明は、パターン投影を行った状態でのパッシブステレオ法を用いた奥行方向の距離計測が可能な任意の機器に適用可能である。
　［第１の実施形態］
　本発明における計測システム１００の構成例を図１に示す。
　図１において、計測システム１００は、被写体にパターンを投影する投影装置１１０、被写体からの光束に基づき視差画像を取得する撮像システム１２０、計測装置１５０から構成される。
　投影装置１１０は、投影光学系１１１、空間変調器やレチクルおよびLED等の照明部を有するパターン部１１２で構成される。１１３は投影光学系１１１の射出瞳であり、１１４は投影装置１１０の投影方向を表す投影軸である。投影装置１１０は、投影装置１１０の各ブロックの制御プログラムを記録したＲＯＭ及び制御プログラムの展開領域として用いられるＲＡＭを含んだ、マイクロコンピュータ等の制御部（不図示）を有し、パターン部１１２を制御して被写体にパターン（光）を投影する。
　撮像システム１２０は第１のカメラ１３０と第２のカメラ１４０で構成され、２つの異なる視点からの画像群を撮像する。第１のカメラ１３０は、第１の撮像光学系１３１とＣＣＤやＣＭＯＳセンサ等の第１の撮像素子１３２を有し、第１の撮像光学系１３１の第１の入射瞳１３３を視点とし、第１の撮像軸１３４を撮像方向とする画像を撮像する。第２のカメラ１４０は、第２の撮像光学系１４１とＣＣＤやＣＭＯＳセンサ等の第２の撮像素子１４２を有し、第２の撮像光学系１４１の第２の入射瞳１４３を視点とし、第２の撮像軸１４４を撮像方向とする画像を撮像する。なお、第１の入射瞳１３３と第２の入射瞳１４３の間の距離は、投影装置の射出瞳１１３と撮像システム１２０の第１の入射瞳１３３の間の距離よりも短くなるように構成している。また、第１のカメラ１３０と第２のカメラ１４０はそれぞれ、ＣＰＵ・ＲＯＭ・ＲＡＭからなる制御部、撮像素子から出力される画像信号に現像、補正等の画像処理を施しデジタルデータの撮像画像を生成する画像処理部等、デジタルカメラに一般的に備わる構成を備える。
　計測装置１５０は、ＣＰＵからなる制御部１５１、メモリ１５２、相対位置算出部１５４および距離形状算出部１５３を有している。制御部１５１は、メモリ１５２の不揮発性部分（以下、便宜上ＲＯＭと呼ぶ）に記憶されている各ブロックの動作プログラムを読み出し、メモリ１５２の別領域に展開して実行することにより各ブロックの動作を制御する。また、計測装置１５０は、外部装置である撮像システム１２０及び投影装置１１０と接続し、各装置との間でのデータの送受信を可能とする。
　次に、計測システム１００が行う距離形状の算出フローについて、図２Ａを用いて説明する。本フローの各処理は、計測装置１５０の制御部１５１が対応する制御プログラムを実行することで、制御部１５１によって、あるいは、制御部１５１の制御に従って各ブロックが動作することによって実施される。
　ステップＳ１５０１では、制御部１５１が、通信部を介して投影装置１１０にパターンの投影指示を行い、また通信部を介して撮像システム１２０にパターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を取得する。図２Ｂに示すように、投影装置１１０は上記計測装置１５０からの指示を受けて、パターン部１１２および投影光学系１１１により投影軸１１４の方向に、被写体にパターン２００を投影する。撮像システム１２０は上記計測装置１５０からの指示を受けて、第１のカメラ１３０および第２のカメラ１４０で、被写体およびパターン２００の視差画像を撮像する。
　ステップ１５０２で、距離形状算出部１５３が、撮像した視差画像上の被写体およびパターン像の位置と各視点の位置関係から、パッシブステレオ法の公知の方法で、被写体の一次距離情報を算出する。
　次にステップＳ１５０３で、相対位置算出部１５４が、被写体の一次距離情報と視差画像上のパターン像の位置から、撮像システム１２０の第１の入射瞳１３３の位置に対する投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出する。なお、本実施形態では投影装置１１０の位置姿勢が、第１のカメラ１３０の位置姿勢を基準とした相対的な位置姿勢であるものとして説明する。しかし第２のカメラ１４０の位置姿勢を基準とした相対的な位置姿勢でもよい。
　次にステップＳ１５０４で、距離形状算出部１５３が、算出した投影装置１１０の位置姿勢と、撮像システム１２０の位置姿勢と視差画像上のパターン像の位置から、パターン投影ステレオ法の公知の方法で、被写体の二次距離情報を算出する。
　そしてステップＳ１５０５で、制御部１５１は、算出した二次距離情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。このとき、投影装置１１０の射出瞳１１３と撮像システム１２０の第１の入射瞳１３３の間の距離（基線長）は、撮像システム１２０の第１の入射瞳１３３と第２の入射瞳１４３の間の距離（基線長）より長い。このため、撮像システム１２０によるパッシブステレオ法で求めた一次距離情報より、投影装置１１０および撮像システム１２０によるパターン投影ステレオ法で求めた二次距離情報のほうが、距離精度が高い。よって、撮像システム１２０の第１のカメラ１３０と第２のカメラについては、所望の計測精度を得るために必要な基線長よりも、短い基線長での位置関係を保持するだけで良いことになり、より簡易な構成で高い測距精度を得ることができる。
　また図３Ａに示すように、制御部１５１は、図２Ａで行う処理に加えてパッシブステレオ法で求めた一次距離情報と、パターン投影ステレオ法で求めた二次距離情報を統合して、被写体の距離情報を求めるステップＳ１５０６を行っても良い。なお、図３Ａのフローの各処理も、計測装置１５０の制御部１５１によって、あるいは制御部１５１の制御に従って各ブロックが動作することによって実施される。例えば、投影装置１１０の位置と被写体の形状の関係によっては、被写体の影となってパターンが投影されない領域が発生する場合がある。このとき被写体の持つ模様を手掛かりに、パッシブステレオ法では一次距離情報を取得できる場合があり、一次距離情報と二次距離情報を統合することで、欠損の無い距離情報を得ることができる。
　次に、ステップＳ１５０３に係る、制御部１５１が被写体の一次距離情報と視差画像上のパターン像の位置から、投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出する方法を、図４を用いて説明する。図４は、被写体３００にパターンを投影して距離を計測する場合を示している。投影装置１１０の射出瞳１１３から投影軸１１４の方向にパターンを投影し、第１のカメラ１３０の第１の入射瞳１３３および第２のカメラ１４０の第２の入射瞳１４３について視差画像が取得される。まず、被写体３００の表面上に形成されたパターンのうち、任意の２か所（パターン２０１、パターン２０２）の一次距離情報を算出し、第１のカメラ１３０の第１の入射瞳１３３の位置に対する各パターンの相対位置座標を求める。第１の入射瞳１３３に対する相対位置座標とは、例えば、第１の入射瞳１３３を原点とし、第１の入射瞳１３３と第２の入射瞳１４３を結んだ直線を一つの軸として、それと直交する方向に他の軸を設定した直交座標系における位置座標である。次に、パターン２０１とパターン２０２の投影角度をθ１としたとき、パターン２０１とパターン２０２の２点を通り、θ１が円周角となる円３１０を求める。この時、投影装置の射出瞳１１３は、円３１０の円周上のいずれかの位置に存在することになる。なお、投影角度θ１は投影装置１１０について既知の情報であり、例えば、パターン部１１２および投影光学系１１１の幾何関係から決定されるものである。次に、被写体３００の表面上に形成されたパターンのうち、別の１か所（パターン２０３）の一次距離情報を算出し、第１のカメラ１３０の第１の入射瞳１３３の位置に対するパターンの相対位置座標を求める。パターン２０２とパターン２０３の投影角度をθ２としたとき、パターン２０２とパターン２０３の２点を通り、θ２が円周角となる円３１１を求める。この時、投影装置の射出瞳１１３は、円３１１の円周上のいずれかの位置に存在することになる。つまり、円３１０と円３１１の交点のうち、パターン２０２ではないほうの交点が射出瞳１１３の位置となる。本実施形態では、パターン２０２として、投影軸上のパターンを選択している。この時、射出瞳１１３の位置とパターン２０２の位置を結んだ線分を含む直線が投影軸１１４となる。このように、被写体の一次距離情報と視差画像上のパターン像の位置から、投影装置１１０の位置および姿勢である射出瞳１１３の位置および投影軸１１４を算出することができる。
　なお、本実施形態では、被写体表面上の３か所の相対位置情報を用いたが、４か所以上の情報を用いて、平均化処理等を用いて、より高い精度で射出瞳１１３の位置および投影軸１１４を求めても良い。また、射出瞳１１３の位置の座標や投影軸１１４の方向に関する事前情報が有る場合は、２か所の相対位置情報でも、射出瞳１１３の位置および投影軸１１４を求めることができる。例えば、第１の入射瞳１３３を原点とする座標系に対する投影軸１１４の傾きがわかっている場合、２か所の相対位置情報で求めた円３１０と、パターン２０２の位置を通る投影軸１１４との交点が射出瞳１１３の位置となる。なお、図４に示すような幾何関係を用いて、投影装置１１０の射出瞳１１３の位置や投影軸１１４を求める方法は、本実施形態に示した工程に限られるものではない。撮像システム１２０で取得した視差画像上のパターン像位置および視点間の位置関係を入力情報として、少なくともひとつの視点に対する投影装置の相対位置を求める方法であれば良く、一次距離情報などの中間データを用いない方法でも良い。
　本実施形態では、投影装置１１０の位置姿勢を、図４を用いて、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ線分を含む二次元平面内で作図的に求める方法を説明した。投影装置１１０の射出瞳１１３の位置が、この二次元平面内に無い場合は、第１のカメラ１３０の第１の入射瞳１３３を含み、図４に示す平面と直交する平面内でも幾何関係を用いて投影装置１１０の位置姿勢を求める。各平面内で求めた位置姿勢を合成して、三次元的な位置姿勢を求めることができる。なお、投影装置１１０が、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線の延長線上の位置に配置されていることが好ましい。これにより、投影装置１１０の位置姿勢を二次元平面内でのみ求めればよく、計算量を減らせるため、高速化や消費電力の抑制ができる。
　以上の構成により、本実施形態では、所望の計測精度を得るために必要な基線長よりも短い基線長での位置関係を保持するだけで良く、より簡易な構成で安定して高い測距精度を得ることができる。
　また、必要なときに投影装置１１０の位置姿勢を求めることができるため、投影装置１１０の位置姿勢を既定の状態に固定せずに、可変にすることができる。これにより、被写体の形状による遮蔽が生じないようにパターンを投影する方向や位置を決めることができ、計測可能な被写体の条件を大幅に拡張することができる。なお、投影装置１１０の位置姿勢は、計測の度に常に求めなくても良い。例えば、投影装置１１０の位置姿勢を能動的に変えたときや、環境温度変化や振動などの外乱による位置関係の変化が懸念される場合に、投影装置１１０の位置姿勢を求めるようにしても良い。
　なお、投影するパターンは、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線と垂直な方向に延びた線分が、該直線の方向（一対の視差画像にて視差が生じる方向）に略周期的に並んだ縞状のパターンであることが好ましい。このように構成することで、撮像システム１２０の視差方向にコントラストの高い視差画像が取得でき、パッシブステレオ法による一次距離情報の計測精度を高くすることができる。このような好適なパターンの投影は、テストパターンの投影後、撮像システム１２０において該テストパターンを撮像した撮像画像に基づいて動的にパターンを構成する態様とすることでも実現できる。
　さらに、縞状のパターンのうち、少なくともひとつの線分（縞）は、それ以外の線分と色や形状を異ならせることが望ましい。これにより視差画像間の対応を取るときに誤対応を抑制でき、計測エラーを軽減できる。特に、投影軸１１４上のパターンの色や形状を他の線分と異なるものにすることにより、投影軸１１４の算出を容易にすることができる。また、一次距離情報を測定するために投影するパターン２００は、投影された各パターン像を撮像システム１２０が認識したとき、該パターン間の相対的な位置関係がわかるように、予め撮像システム側にもパターン（間の位置関係）に関する情報が記憶されていることが好ましい。撮像システム１２０はこれにより、各パターンが投影された位置にある被写体の瞳分割方向の位置関係を、パターン同士の位置関係（例えば縞状パターンでは縞間の位置関係）から容易に推定することが出来る。
　また、パッシブステレオ法を用いて投影装置の相対位置を求めるときに用いるパターンと、パターン投影ステレオ法で距離情報を取得するときに用いるパターンとが異なるようにしても良い。また、計測システム１００は、図２Ａに示す処理に加えて図３Ｂに示すフローで計測を行ってもよい。なお、図３Ｂのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。ステップＳ１５０３の後にステップＳ１５０７として投影装置１１０はランダムドットやグレードなど、一般的にパターン投影ステレオで用いられるパターンを投影し、当該パターンが投影された被写体が撮像システム１２０によって撮像されて一対の視差画像が取得される。このように構成することで、各手法に適したパターンを用いることができ、より高い精度での位置算出および距離計測が可能となる。また、パターン投影ステレオ法で用いるパターンを、一次距離情報を用いて、パターンの細かさを変えるなど、被写体の形状に適したパターンにして投影すると、より高い精度で距離情報を取得することができる。
　［第２の実施形態］
　次に、第２の実施形態を、図５Ａおよび図５Ｂを用いて説明する。図５Ａに示すように、第１の実施形態に対して、撮像システム１２０が、カメラ４００で構成されている点が異なる。処理フローは図２Ａに示す例を含み、第１の実施形態のものと同じである。
　カメラ４００は、撮像光学系４０１、撮像素子４０２で構成されている。撮像素子４０２は、ひとつの画素に２つの光電変換部を有している。図５Ｂに示すように、撮像素子４０２の画素は、マイクロレンズ４０３と第一の光電変換部４０４および第二の光電変換部４０５で構成されている。マイクロレンズ４０３を介して、光電変換部と撮像光学系４０１の瞳が、光学的に共役な関係になっており、撮像光学系の瞳を分割して、異なる視点からの視差画像を取得している。第一の光電変換部４０４からの画像信号を用いて得られる画像は、撮像光学系４０１の瞳領域の一部に対応する、第１の実施形態における第２の入射瞳１４３を視点とする画像に相当する画像である。また、各画素の第二の光電変換部４０５からの画像信号を用いて得られる画像は、撮像光学系４０１の瞳領域の他の一部に対応する、第１の実施形態における第１の入射瞳１３３を視点とする画像になる。さらに、各画素の各画素の第一の光電変換部４０４からの画像信号と第二の光電変換部４０５からの画像信号を加算した信号を用いて得られる画像は、入射瞳４０６を視点とする画像になる。
　以上の通り、本実施形態では、ひとつの撮像光学系４０１とひとつの撮像素子４０２で一対の視差画像を取得することができるため、複数台のカメラを用いた第１の実施形態とは違ってより機械的に安定した基線長の短い撮像システムを構成することができ、より簡易な構成で安定して高い測距精度を得ることができる。
　さらに、パターンを投影せずに撮像した通常画像も取得することで、通常画像と同一視点での計測値を取得でき、メタ情報として画像に付加したり、認識に用いることで認識精度を向上させたりする撮像装置として用いることができる。
　［第３の実施形態］
　次に、第３の実施形態を、図６Ａおよび図６Ｂを用いて、説明する。なお、図６Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。図６Ａは処理フローであり、ステップＳ１５１１でパターンを投影し撮像する。図６Ｂは、図５Ａに示す計測システム１００を用い、投影装置１１０でパターンを投影し、撮像システム１２０で取得した第１の入射瞳１３３の視点での画像の例である。投影するパターンは、撮像システム１２０の第１の入射瞳１３３および第２の入射瞳１４３を結んだ直線と垂直な方向に延びた線分が、直線の方向に略周期的に並んだ縞状のパターンである。被写体は、平面と、平面上に置かれた半球状の物体である。
　ステップＳ１５１２で、距離形状算出部１５３が、パッシブステレオ法で、撮像した視差画像から被写体の一次距離情報を算出する。
　次にステップＳ１５１３で、距離形状算出部１５３が、いずれかの視差画像における縞状パターン像の縞間隔から面法線情報を生成する。縞状パターン像の縞間隔は、縞の周期方向の面の傾きを表し、観察方向に面が正対している場合は投影パターンの縞間隔と同じになり、面法線が傾くと縞間隔が狭くなる。図６Ｂに示されるように、例えば平面である領域２１０における縞は直線で等間隔になる。一方、曲面である領域２１１における縞は曲線状になり、縞間隔は場所により変化する。
　ステップＳ１５１３で、距離形状算出部１５３は、画像中の場所ごとの局所的な縞間隔を求め、これにより、被写体の局所位置での面法線情報を取得することができる。さらにステップＳ１５１４で、距離形状算出部１５３は、一次距離情報と面法線情報を統合して、高精度な距離形状情報を生成する。
　そしてステップＳ１５１５で、制御部１５１は、算出した高精度な距離形状情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。
　パッシブステレオ法で求めた一次距離情報と、縞間隔を用いた面法線情報は、微分・積分の関係にある。つまり、面法線の積分と距離情報、または面法線と距離情報の微分は本来同じものになる。従って、距離形状算出部１５３は、これらを比較し、明らかなエラー値の除去や平均化によりばらつきを低減することができる。あるいは、平面部は面法線を積分した情報を用い、段差部における段差量は距離情報を用いることで、ばらつきを抑えることができる。このように、一次距離情報と面法線情報を統合することで、単一の計測方法で求めた距離形状情報より高精度な距離形状情報を取得することができる。なお、ステップＳ１５１２とステップＳ１５１３の順番は入れ替わっても良い。
　またこのとき、図７Ａに示すようにステップＳ１５１６の処理を追加で行うことにより、パッシブステレオ法を用いて一次距離情報を求めるときに用いるパターンと、縞間隔から面法線情報を取得するときに用いるパターンとが異なるようにしてもよい。なお、図７Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。ステップＳ１５１６では、制御部１５１が、通信部を介して投影装置１１０にパターンの投影指示を行い、また通信部を介して撮像システム１２０にパターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を新たに取得する。ここで、ステップＳ１５１６において面法線情報を取得するときの方が、Ｓ１５１１において一次距離情報を求めるときに用いるパターンよりも縞間隔が狭いことが望ましい。これにより、空間的に密な面法線情報を取得することができる。面法線情報を求めるときは、直交する縞状パターンを切り替えて投影したり、直交する縞状パターンを合成した井桁パターンまたは点線パターンを投影したりしてもよい。このように構成することで、直交する軸方向の法線を求めることができるため、より高い精度で被写体の面法線情報を取得できる。
　また、一次距離情報をもとに面法線情報取得時のパターンを選択しても良い。例えば、投影装置からの距離が遠いと投影パターン像は粗く、近いと投影パターン像は細かくなるため、距離に応じて、面法線情報取得に必要な縞間隔になるようにパターンサイズを制御する。また、一次距離情報から面の傾いている方向が概略わかるので、傾いている方向に直交する方向の縞状パターンを選択して投影したり、細かいパターンを投影したりすると、面の傾き量（面法線の傾き量）を高精度に取得することができる。
　また、面法線情報をもとにパッシブステレオ法で用いるパターンを選択しても良い。面法線が傾いていると縞状パターン像が粗くなり過ぎて、視差画像間の対応が取れず、測距精度が低下するため、傾いている面では投影パターンを細かくする。これにより、高精度に距離情報を取得できる。 これにより、被写体の形状に適したパターンにして投影できるため、より高い精度で距離情報を取得することができる。
　また、面法線情報を取得するときに用いるパターンは、投影装置１１０と撮像システム１２０の視点を結ぶ直線に垂直な方向に延びた線分が、直線の方向に略周期的に並んだ縞状のパターンであることが望ましい。このように構成することで、面法線に対する縞間隔の変化が大きくなり、面法線を高い精度で検出することができる。
　さらに、図７Ｂに示す例のように、パターン投影ステレオ法で取得した距離情報を用いても良い。なお、図７Ｂのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。
　ステップＳ１５１７で、相対位置算出部１５４は、被写体の一次距離情報と視差画像上のパターン像の位置から、撮像システム１２０の位置に対する投影装置１１０の位置および姿勢を算出する。
　次にステップＳ１５１８で、距離形状算出部１５３は、算出した投影装置１１０の位置姿勢と、撮像システム１２０の位置姿勢と視差画像上のパターン像の位置から、パターン投影ステレオ法で、被写体の二次距離情報を算出する。
　ステップＳ１５１４で、距離形状算出部１５３は、一次距離情報、二次距離情報、面法線情報を比較し、エラー値の除去や平均化を行うことにより、より安定した高精度な距離形状情報を取得することができる。以上の通り本実施形態では、パッシブステレオ法で求めた一次距離情報と、縞間隔を用いた面法線情報を統合して１つの距離形状情報を算出することでより高精度な距離形状情報を生成することができる。
　［第４の実施形態］
　本実施形態では、投影装置１１０により投影される縞状パターンに基づく画像中の縞の連続性を解析することで、被写体の境界領域を抽出し、その情報を用いて、高精度に距離形状情報を取得する。本実施形態に係る処理フローを図８Ａを用いて説明する。なお、図８Ａのフローの各処理も、計測装置１５０の制御部１５１により、あるいは制御部１５１の制御に従って各ブロックが動作することにより実施される。
　ステップＳ１５２１で、制御部１５１が、通信部を介して投影装置１１０に縞状パターンの投影指示を行い、また通信部を介して撮像システム１２０に縞状パターンが投影された状態で撮像を指示し、撮像システム１２０から撮像により得られる一対の視差画像を取得する。
　次にステップＳ１５２２で、距離形状算出部１５３が、被写体の境界部情報を生成する。図６Ｂにおいて、平面である領域２１０の縞は、線の方向が一定であり、曲面である領域２１１の縞は、線の方向は変化しているが、その変化は緩やかである。一方、距離の変化が大きい領域（境界部）２１２では線の方向が急激に変化している。図８Ｂでは、平面と手前側に奥行方向に離れた位置に置かれた平面の物体で構成された被写体の画像の例であり、奥行方向に段差がある被写体の境界部２２２では、縞の線が途切れて不連続になる。このように、縞の連続性を解析することで、距離の変化が大きい領域、つまり被写体の境界部を抽出することができる。
　ステップＳ１５２３で、距離形状算出部１５３が、パッシブステレオ法で、撮像した視差画像から被写体の一次距離情報を算出する。
　次にステップＳ１５２４で、距離形状算出部１５３が、被写体の境界部情報を用いて、一次距離情報から高精度な距離形状情報を生成する。距離変化が大きい境界領域では、原理的にステレオ法は精度が低下する。そこで、抽出した境界領域については、距離をステレオ法で求めた一次距離情報は用いず、境界領域を挟むそれぞれの領域での一次距離情報を境界部まで延長するようにして、距離形状情報を作成する。例えば、図８Ｂに示す例においては、境界部２２２を挟んで領域２２１側では領域２２１の一次距離情報を用い、領域２２０側では領域２２０の一次距離情報を用いる。図６Ｂに示す例においては、境界部２１２を挟んで領域２１０側では領域２１０の一次距離情報を用い、領域２１１側では領域２１１内の面法線の変化が連続的になるように一次距離情報を生成する。このように、縞の形状をもとに被写体の境界領域を抽出し、それに基づいて距離情報を求めることで、距離変化の大きい境界部でも、精度良く距離形状情報を求めることができる。このとき、パターン投影ステレオ法で求めた二次距離情報や縞間隔から求めた面法線情報を用いることにより、さらに高精度に被写体の距離形状情報を求めることができる。
　そしてステップＳ１５２５で、制御部１５１は、算出した高精度な距離形状情報を、図示しない記憶部に記憶、あるいは記録部や通信部等を介して外部装置に出力する。
　以上の通り、本実施形態では、投影装置１１０により縞状のパターン光を投影させ、被写体とパターン光を含む画像中の縞の連続性を解析することで、被写体の境界領域を抽出し、その境界領域の情報を用いてより高精度に距離形状情報を取得することができる。
　［その他の実施例］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
　本願は、２０１９年６月２８日提出の日本国特許出願特願２０１９－１２２０９９、及び２０２０年６月１９日提出の日本国特許出願特願２０２０－１０６４０７を基礎として優先権を主張するものであり、それらの記載内容の全てを、ここに援用する。

Claims (24)

  1. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
    　前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
    　前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
    　該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測装置。
  2. 　前記投影装置は、位置と姿勢が可変であることを特徴とする請求項１に記載の計測装置。
  3. 　前記投影装置が、２つの前記視点を結ぶ直線の延長線上の位置に配置されていることを特徴とする請求項１または２に記載の計測装置。
  4. 　前記相対位置を求めるときに用いるパターンと前記距離情報を取得するときに用いるパターンが異なることを特徴とする請求項１から３のいずれか１項に記載の計測装置。
  5. 　前記パターンは２つの前記視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンであることを特徴とする請求項１から４のいずれか１項に記載の計測装置。
  6. 　前記縞状のパターンのうち、少なくともひとつの線分は、それ以外の線分と色及び／または形状が異なることを特徴とする請求項５に記載の計測装置。
  7. 　前記縞状のパターンの前記画像上のパターン像の局所的な縞間隔を用いて、前記被写体の該局所位置での面法線情報を取得することを特徴とする請求項５または６に記載の計測装置。
  8. 　前記面法線情報と、前記相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする請求項７に記載の計測装置。
  9. 　前記面法線情報と、前記相対位置と前記視点での画像上のパターン像位置と、前記視点間の距離と前記各視点に対する画像上のパターン像位置から、前記被写体の距離情報を取得することを特徴とする請求項７または８に記載の計測装置。
  10. 　前記面法線情報を取得するときに用いるパターンと前記パターン像位置を取得するときに用いるパターンが異なり、前記面法線情報を取得するときに用いるパターンの方がパターンの縞間隔が狭いことを特徴とする請求項７から９のいずれか１項に記載の計測装置。
  11. 　前記パターンは線分を含むパターンであり、
    　前記画像上の前記線分のパターン像の形状をもとに被写体の境界領域を抽出し、該境界領域の情報を用いて、前記被写体の距離情報を取得することを特徴とする請求項１から１０のいずれか１項に記載の計測装置。
  12. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
    　前記パターンは２つの前記視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンを含み、
    　該縞状のパターンの少なくともひとつの視点の前記画像上のパターン像の局所的な縞間隔を用いて、前記被写体の該局所位置での面法線情報を取得し、
    　該面法線情報と、前記視点間の距離と前記各視点に対する画像上のパターン像位置から、前記被写体の距離情報を取得することを特徴とする計測装置。
  13. 　前記面法線情報を取得するときに用いるパターンと前記パターン像位置を取得するときに用いるパターンが異なり、前記面法線情報を取得するときに用いるパターンの方がパターンの縞間隔が狭いことを特徴とする請求項１２に記載の計測装置。
  14. 　前記面法線情報を取得するときに用いるパターンは、前記投影装置と前記撮像システムの視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンを含むことを特徴とする請求項１２または１３に記載の計測装置。
  15. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置において、
    　前記パターンは線分を含むパターンであり、
    　前記画像上の前記線分のパターン像の形状をもとに被写体の境界領域を抽出し、該境界領域の情報を用いて、前記被写体の距離情報を取得することを特徴とする計測装置。
  16. 　前記撮像システムは、ひとつの光学系の瞳を分割して複数の視点からの画像群を撮像することを特徴とする請求項１から１５のいずれか１項に記載の計測装置。
  17. 　請求項１から１６のいずれか１項に記載の計測装置を含み、
    　前記撮像システムは、前記パターンを投影しないで撮像した画像も取得することを特徴とする撮像装置。
  18. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムと、該投影装置及び該撮像システムと接続された計測装置と、を含んで構成される計測システムであって、
    　前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
    　前記計測装置は、
    　　前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出手段を有し、
    　　該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする計測システム。
  19. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムと、該投影装置及び該撮像システムと接続された計測装置と、を含んで構成される計測システムであって、
    　前記パターンは２つの前記視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンを含み、
    　前記計測装置は、
    　　該縞状のパターンの少なくともひとつの視点の前記画像上のパターン像の局所的な縞間隔を用いて、前記被写体の該局所位置での面法線情報を取得し、
    　　該面法線情報と、前記視点間の距離と前記各視点に対する画像上のパターン像位置から、前記被写体の距離情報を取得することを特徴とする計測システム。
  20. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムと、該投影装置及び該撮像システムと接続された計測装置と、を含んで構成される計測システムであって、
    　前記パターンは線分を含むパターンであり、
    　前記計測装置は、前記画像上の前記線分のパターン像の形状をもとに被写体の境界領域を抽出し、該境界領域の情報を用いて、前記被写体の距離情報を取得することを特徴とする計測システム。
  21. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置の制御方法であって、
    　前記視点間の距離は、前記投影装置と前記視点の距離よりも短く、
    　前記画像群上のパターン像位置および前記視点間の位置関係から、少なくともひとつの前記視点に対する前記投影装置の相対位置を求める相対位置算出工程を有し、
    　該相対位置と前記視点での画像上のパターン像位置から前記被写体の距離情報を取得することを特徴とする制御方法。
  22. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置の制御方法であって、
    　前記パターンは２つの前記視点を結ぶ直線に垂直な方向に延びた線分が該直線の方向に略周期的に並んだ縞状のパターンを含み、
    　該縞状のパターンの少なくともひとつの視点の前記画像上のパターン像の局所的な縞間隔を用いて、前記被写体の該局所位置での面法線情報を取得し、
    　該面法線情報と、前記視点間の距離と前記各視点に対する画像上のパターン像位置から、前記被写体の距離情報を取得することを特徴とする制御方法。
  23. 　被写体に所定のパターンを投影する投影装置と、少なくとも２つの異なる複数の視点からの画像群を撮像する撮像システムとを有する計測装置の制御方法であって、
    　前記パターンは線分を含むパターンであり、
    　前記画像上の前記線分のパターン像の形状をもとに被写体の境界領域を抽出し、該境界領域の情報を用いて、前記被写体の距離情報を取得することを特徴とする制御方法。
  24. 　コンピュータを、請求項１から１６のいずれか１項に記載の計測装置として機能させるためのプログラム。
PCT/JP2020/024635 2019-06-28 2020-06-23 計測装置、撮像装置、計測システム、制御方法及びプログラム WO2020262389A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080047551.7A CN114080535A (zh) 2019-06-28 2020-06-23 测量设备、摄像设备、测量系统、控制方法以及程序
US17/560,523 US20220113131A1 (en) 2019-06-28 2021-12-23 Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019122099 2019-06-28
JP2019-122099 2019-06-28
JP2020-106407 2020-06-19
JP2020106407A JP2021009140A (ja) 2019-06-28 2020-06-19 計測装置、撮像装置、計測システム、制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/560,523 Continuation US20220113131A1 (en) 2019-06-28 2021-12-23 Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium

Publications (1)

Publication Number Publication Date
WO2020262389A1 true WO2020262389A1 (ja) 2020-12-30

Family

ID=74061720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024635 WO2020262389A1 (ja) 2019-06-28 2020-06-23 計測装置、撮像装置、計測システム、制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20220113131A1 (ja)
CN (1) CN114080535A (ja)
WO (1) WO2020262389A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0150982B2 (ja) * 1981-09-22 1989-11-01 Tokyo Shibaura Electric Co
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
JP2017020971A (ja) * 2015-07-14 2017-01-26 株式会社リコー パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4778156B2 (ja) * 2001-03-23 2011-09-21 オリンパス株式会社 距離情報取得装置又はシステム、パターン投影装置、及び、距離情報取得方法
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
JP3638569B2 (ja) * 2002-05-15 2005-04-13 川崎重工業株式会社 ３次元計測装置
DE602004015799D1 (de) * 2003-07-24 2008-09-25 Cognitens Ltd Verfahren und system zur dreidimensionalen oberflächenrekonstruktion eines objekts
JP4525240B2 (ja) * 2004-08-23 2010-08-18 富士ゼロックス株式会社 ３次元画像入力装置および方法
JP2008241643A (ja) * 2007-03-29 2008-10-09 Fujinon Corp ３次元形状測定装置
JP5055191B2 (ja) * 2008-04-24 2012-10-24 パナソニック株式会社 ３次元形状計測方法および装置
US8294762B2 (en) * 2008-10-10 2012-10-23 Fujifilm Corporation Three-dimensional shape measurement photographing apparatus, method, and program
EP2459960B1 (en) * 2009-07-29 2019-11-13 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and computer program
TR201811449T4 (tr) * 2012-11-07 2018-09-21 Artec Europe S A R L Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.
WO2014149702A1 (en) * 2013-03-15 2014-09-25 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
US10643343B2 (en) * 2014-02-05 2020-05-05 Creaform Inc. Structured light matching of a set of curves from three cameras
EP3236199A4 (en) * 2014-12-15 2018-06-06 Sony Corporation Image capture device assembly, three-dimensional shape measurement device, and motion detection device
JP6576122B2 (ja) * 2015-06-29 2019-09-18 キヤノン株式会社 データ記録装置およびその制御方法、撮像装置
CN105547190B (zh) * 2015-12-14 2018-08-14 深圳先进技术研究院 基于双角度单频率条纹投影的三维形貌测量方法及装置
JP2017110991A (ja) * 2015-12-16 2017-06-22 セイコーエプソン株式会社 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
EP3633407A4 (en) * 2017-05-24 2020-06-10 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2020008434A (ja) * 2018-07-09 2020-01-16 オムロン株式会社 ３次元測定装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0150982B2 (ja) * 1981-09-22 1989-11-01 Tokyo Shibaura Electric Co
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JP2012058076A (ja) * 2010-09-09 2012-03-22 3D Media Co Ltd ３次元計測装置及び３次元計測方法
JP2017020971A (ja) * 2015-07-14 2017-01-26 株式会社リコー パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム

Also Published As

Publication number Publication date
CN114080535A (zh) 2022-02-22
US20220113131A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
US9672630B2 (en) Contour line measurement apparatus and robot system
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
US9438888B2 (en) Systems and methods for stereo imaging with camera arrays
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6112769B2 (ja) 情報処理装置、情報処理方法
EP2613121B1 (en) Image sensor, attitude detector, contact probe, and multi-sensing probe
KR20090107536A (ko) 정량적 3-ｄ 이미징을 위한 방법
TWI740237B (zh) 光學相位輪廓測定系統
JP2005195335A (ja) ３次元画像撮影装置および方法
JP2023115356A (ja) 計測装置、撮像装置、制御方法及びプログラム
JP5256933B2 (ja) 焦点情報検出装置
WO2020262389A1 (ja) 計測装置、撮像装置、計測システム、制御方法及びプログラム
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP3925266B2 (ja) ３次元形状入力装置および位置ずれ検出方法
JP2021009140A (ja) 計測装置、撮像装置、計測システム、制御方法及びプログラム
JP6550102B2 (ja) 光源方向推定装置
JP2022106868A (ja) 撮像装置および撮像装置の制御方法
JP7344283B2 (ja) モーションエンコーダ
JP2020106502A (ja) 形状計測装置、制御方法及びプログラム
WO2023007625A1 (ja) ３次元計測システム、装置、方法及びプログラム
JP7227454B2 (ja) 測距カメラ
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP2019192156A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20831476

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20831476

Country of ref document: EP

Kind code of ref document: A1