WO2024042995A1 - 光検出装置、および光検出システム - Google Patents
光検出装置、および光検出システム Download PDFInfo
- Publication number
- WO2024042995A1 WO2024042995A1 PCT/JP2023/027591 JP2023027591W WO2024042995A1 WO 2024042995 A1 WO2024042995 A1 WO 2024042995A1 JP 2023027591 W JP2023027591 W JP 2023027591W WO 2024042995 A1 WO2024042995 A1 WO 2024042995A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distortion correction
- unit
- image data
- captured image
- distortion
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 266
- 238000012545 processing Methods 0.000 claims abstract description 146
- 238000005259 measurement Methods 0.000 claims abstract description 92
- 238000003384 imaging method Methods 0.000 claims description 116
- 230000003287 optical effect Effects 0.000 claims description 95
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000013459 approach Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 36
- 230000000694 effects Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Definitions
- the present disclosure relates to a photodetection device and a photodetection system.
- a photodetection device that includes a projector and a camera and measures the three-dimensional shape of an object using a pattern projection method.
- Such a photodetection device may correct the distortion of the epipolar line from the distortion parameter calculated based on the distance information and recalculate the position of the three-dimensional point.
- distortion correction is performed while adaptively changing distortion parameters based on distance, the amount of calculation becomes enormous. Therefore, there is a risk that the circuit scale will increase and the latency will deteriorate.
- the present disclosure provides a photodetection device and a photodetection system that can more efficiently measure a three-dimensional shape.
- an imaging unit that images a measurement range onto which a projection image having a predetermined pattern is projected; a signal processing unit that generates three-dimensional distance data of the measurement range based on captured image data captured by the imaging unit,
- a photodetection device is provided in which the signal processing section includes a distortion correction section that corrects distortion of two-dimensional coordinates based on the captured image data.
- It may further include a projection unit that projects the projection image.
- the imaging unit has an imaging optical system
- the projection unit has a projection optical system
- the optical axis of the imaging optical system and the optical axis of the projection optical system may be parallel.
- the distortion correction unit may perform distortion correction according to the square of r based on the square of the x-coordinate and the square of the y-coordinate of the captured image data.
- the signal processing unit may further include a distance measurement unit that generates three-dimensional distance data of the measurement range based on the captured image data subjected to distortion correction processing by the distortion correction unit.
- the distortion correction unit may correct the captured image data so that the epipolar line approaches a straight line.
- the distortion correction section includes: a first distortion correction unit that corrects the captured image data so that the epipolar line approaches a straight line; a second distortion correction section whose calculation speed is faster than that of the first distortion correction section and whose correction accuracy is suppressed; Depending on predetermined conditions, one of the first distortion correction section and the second distortion correction section may be selected to perform distortion correction.
- the distortion correction section includes:
- the image forming apparatus may further include a determining section that determines which of the first distortion correcting section and the second distortion correcting section is used based on predetermined conditions.
- the determination unit may determine which of the first distortion correction unit and the second distortion correction unit to use, depending on the imaging magnification of the imaging optical system.
- the distortion correction unit can perform distortion correction according to the square of r based on the square of the x-coordinate and the square of the y-coordinate of the captured image data,
- the first distortion correction unit performs distortion correction based on the square, fourth, and sixth power of the r,
- the second distortion correction section may perform distortion correction based on the square and fourth power of the r.
- the distance measurement unit may extract feature points in one direction of the captured image data after distortion correction.
- the distance measurement unit may generate the three-dimensional distance data using the principle of triangulation.
- the signal processing section includes: a second distortion correction unit that corrects the captured image data so that an epipolar line in the captured image data approaches a straight line; a distance measurement unit that generates the three-dimensional distance data based on the captured image data that has been distortion-corrected by the second distortion correction unit; a first distortion correction unit that corrects the two-dimensional coordinates so that the epipolar line in the two-dimensional coordinates of the three-dimensional distance data further approaches a straight line; It may have.
- the signal processing unit may generate three-dimensional distance data of the measurement range within the limited range.
- the signal processing unit further includes a distance measurement unit that generates the three-dimensional distance data based on the captured image data
- the distortion correction section includes: The two-dimensional coordinates may be corrected so that the epipolar line in the two-dimensional coordinates of the three-dimensional distance data approaches a straight line.
- the first distortion correction unit and the second distortion correction unit may share a processing unit that calculates the square and fourth power of r.
- a projection device that projects a predetermined projection pattern onto a measurement range via a projection optical system
- an imaging device that captures an image of a measurement range onto which the projection pattern is projected via an imaging optical system
- a processing device that generates three-dimensional distance data of the measurement range based on captured image data captured by the imaging device,
- the processing device may include a distortion correction unit that corrects distortion of two-dimensional coordinates based on the captured image data.
- a projection device that projects a predetermined projection pattern onto a measurement range via a projection optical system; an imaging device that captures an image of a measurement range onto which the projection pattern is projected via an imaging optical system; A processing device that generates three-dimensional distance data of the measurement range based on captured image data captured by the imaging device, A photodetection system is provided in which the processing device includes a distortion correction section that corrects distortion of two-dimensional coordinates based on the captured image data.
- the distortion correction unit may correct the captured image data so that the epipolar line approaches a straight line.
- a projection device that projects a predetermined projection pattern onto a measurement range via a projection optical system; a first imaging device that images a measurement range onto which the projection pattern is projected via a first imaging optical system; a second imaging device that images the measurement range onto which the projection pattern is projected via a second imaging optical system; Equipped with The second imaging device generates three-dimensional distance data of the measurement range based on first captured image data captured by the first imaging device and second captured image data captured by the second imaging device. Equipped with a signal processing section to A photodetection system is provided in which the signal processing section includes a distortion correction section that corrects distortion of the two-dimensional coordinates of the first captured image data and distortion of the two-dimensional coordinates of the second captured image data.
- the distortion correction unit may correct the first captured image data and the second captured image data so that the epipolar line approaches a straight line.
- FIG. 1 is a diagram illustrating a schematic configuration example of a photodetection device to which the present technology is applied.
- FIG. 2 is a block diagram showing a configuration example of a photodetection device.
- FIG. 7 is a diagram showing an example of processing by a lens distortion correction section.
- FIG. 3 is a block diagram showing a configuration example of a distance measuring section. The figure which shows the example of a process of a binarization process part. The figure which shows the example of triangulation processing using the coordinate of a feature point.
- FIG. 3 is a diagram showing the relationship between the coordinates of an image before correction and the coordinates after correction. The figure which shows the example of an image regarding a distortion parameter.
- FIG. 1 is a diagram illustrating a schematic configuration example of a photodetection device to which the present technology is applied.
- FIG. 2 is a block diagram showing a configuration example of a photodetection device.
- FIG. 7 is a diagram showing an example of processing
- FIG. 7 is a diagram schematically showing a processing example of a distortion correction section.
- FIG. 6 is a diagram schematically showing an example of processing using distortion parameters of a distortion correction unit.
- FIG. 7 is a diagram conceptually illustrating a situation in which a distortion parameter of a distortion correction unit has a correction effect.
- FIG. 7 is a block diagram showing a configuration example of a distortion correction section according to a second embodiment. 7 is a flowchart showing an example of processing by the first distortion correction section and the second distortion correction section.
- FIG. 7 is a block diagram showing a configuration example of a processing unit according to a third embodiment.
- FIG. 7 is a block diagram showing a configuration example of a photodetection device according to a fourth embodiment.
- FIG. 7 is a block diagram showing a configuration example of a processing unit according to a fifth embodiment.
- FIG. 7 is a block diagram showing a configuration example of a distortion correction section according to a sixth embodiment.
- FIG. 1 is a diagram showing a schematic configuration example of a photodetection device to which the present technology is applied.
- the photodetection device 1 shown in FIG. 1 includes, for example, at least a projection section 10 and an imaging section 20.
- the photodetecting device 1 is configured as a portable device that can be made smaller, for example.
- the projection unit 10 is, for example, a projector, and generates a projection image P10 having two types of brightness, a bright part and a dark part, and irradiates it onto the measurement range S10.
- the projected image P10 is, for example, a lattice pattern as shown in FIG. In this lattice pattern, feature points having a unique geometric shape are arranged in a two-dimensional lattice pattern. For example, each feature point is assigned a feature amount as a unique code.
- three-dimensional coordinates relative to the principal point position of the projection unit 10 are assigned in advance to each feature point.
- the projection image P10 is a lattice pattern, it is not limited to this.
- a pattern of light may be used in which a plurality of spots SP made up of dot shapes arranged at regular or irregular predetermined intervals are bright parts and other areas are dark parts.
- the imaging unit 20 is, for example, a camera, and captures a projected image P10 of the measurement range S10 as captured image data I10.
- the light detection device 1 detects the coordinates of feature points on the captured image I10, and calculates the distance value of the measurement range S10 from the principal point position of the projection unit 10 or the imaging unit 20 based on the principle of triangulation as described later. generate.
- FIG. 2 is a block diagram showing an example of the configuration of the photodetector 1.
- the photodetection device 1 includes a projection section 10, an imaging section 20, a drive control section 30, a signal processing section 40, and a camera interface section 50.
- the projection section 10 includes a projection optical system 101 having an optical axis L10 and a liquid crystal section 102.
- the liquid crystal unit 102 generates a two-dimensional projection image P10 as a brightness image. Furthermore, the position in the row direction in this projected image P10 is defined as xp coordinate, and the position in the column direction is defined as yp coordinate.
- the liquid crystal unit 102 generates the projection image P10 as a luminance image using, for example, original data of the projection image P10 (see FIG. 1) stored in the memory 402 described later. Thereby, as described above, the projection unit 10 projects the projection image P10 onto the measurement range S10 via the projection optical system 101.
- the imaging unit 20 includes an imaging optical system 201 having an optical axis L20, and an image array unit 202 in which imaging elements are arranged two-dimensionally.
- the optical axis L10 and the optical axis L20 are parallel.
- the image array unit 202 is, for example, a complementary metal oxide semiconductor (CMOS) image sensor. That is, the image array unit 202 captures a projection image P10 (see FIG. 1) of the measurement range S10 via the imaging optical system 201, and generates captured image data I10. Let the position of the image array section 202 in the row direction be the x coordinate, and let the position in the column direction be the y coordinate.
- CMOS complementary metal oxide semiconductor
- the drive control unit 30 is configured to include, for example, a CPU (Central Processing Unit).
- the drive control section 30 controls the projection section 10 and the imaging section 20 based on, for example, an input signal from an operation section (not shown).
- the signal processing unit 40 includes, for example, a CPU (Central Processing Unit) and is configured on one semiconductor substrate. That is, this signal processing section 40 includes a memory 402, a parameter memory 404, a lens distortion correction section 406, and a distance measurement section 408. Note that the lens distortion correction section 406 according to this embodiment corresponds to a distortion correction section.
- a CPU Central Processing Unit
- the memory 402 can store a predetermined program for the signal processing unit 40, as well as the original data of the projection image P10 (see FIG. 1) and the captured image data I10.
- the parameter memory 404 stores coordinates in association with each feature point of the projection image P10, and feature amounts obtained by quantifying the geometric features of the feature points.
- the memory 402 also stores information such as the principal point position of the projection unit 10, the principal point position of the imaging unit 20, the distance between the principal point positions, and distortion parameters of the imaging optical system 201 in the imaging unit 20, which are required for distance calculations to be described later.
- the signal processing unit 40 performs signal processing using each piece of information stored in the parameter memory 404 according to the program stored in the memory 402, thereby calculating the distance value from the principal point position of the measurement range S10. generate.
- FIG. 3 is a diagram showing a processing example of the lens distortion correction section 406.
- Figure A is an example showing the captured image data I10 before processing by the lens distortion correction unit 406 as a two-dimensional image
- Figure B shows the captured image data I10a after processing by the lens distortion correction unit 406 as a two-dimensional image. This is an example shown as an image. Since the optical axis L10 and the optical axis L20 are parallel, the epipolar line E10 after lens distortion correction is a straight line and parallel to the row direction of the image array section 202. Details of the lens distortion correction section 406 will be described later.
- FIG. 4 is a block diagram showing a configuration example of the distance measuring section 408.
- the distance measurement unit 408 performs distance measurement processing using the captured image data I10a after the correction processing by the lens distortion correction unit 406. That is, this distance measurement section 408 includes a binarized signal processing section 408a, a feature value calculation section 408b, and a distance measurement signal processing section 408c.
- FIG. 5 is a diagram showing a processing example of the binarized signal processing section 408a.
- Figure A is a diagram showing the captured image data I10a processed by the lens distortion correction unit 406 as a two-dimensional image
- Figure B is a diagram showing the captured image data I10b processed by the binarized signal processing unit 408a as a two-dimensional image. It is a figure shown as a dimensional image.
- the binarized signal processing unit 408a generates binary captured image data I10b based on the captured image data I10a according to a predetermined threshold value.
- FIG. 6 is a diagram showing an example of triangulation processing using the coordinates of feature points.
- FIG. C is a diagram showing an example of extraction processing of feature points from captured image data I10b having binary values
- FIG. D is a diagram showing coordinates of the projection image P10 corresponding to the feature points.
- the feature amount calculation unit 408b extracts feature points (x, y) and calculates feature amounts along the row direction of the captured image data I10b after the binarization process. For example, the feature amount calculation unit 408b extracts the coordinates of the edge as a feature point, and calculates the feature amount using pixel values around the feature point.
- the feature quantity calculation unit 408b can extract feature points along the coordinates in the row direction. Furthermore, since the image has been corrected for the calculation range of pixel values around the feature point, it is possible to calculate the feature amount from a range of a predetermined width in the column direction from the feature point. Therefore, it is possible to calculate the feature amount at a higher speed. As a result, the latency is further increased, and the feature quantity calculation accuracy is also improved.
- the amount of calculation may be, for example, tens to thousands of times larger than when using the image after correction (see Figure 3B). be.
- the memory capacity required for calculating the feature amount can also be smaller when using the image after correction (see Figure 3B) than when using the image before correction (see Figure 3A).
- the distance measurement signal processing unit 408c acquires the coordinates (xp, yp) of the feature point corresponding to the feature amount of the feature point from the parameter memory 404.
- the coordinates of the principal point position O10 of the projection section 10 and the display surface P10 of the liquid crystal section 102 are known.
- the coordinates of the display surface P20 of the image array section 202 of the imaging section 20 are known. Therefore, it is possible to generate three-dimensional coordinates of the coordinates (x, y) of the feature point and the coordinates (xp, yp) corresponding to the feature point with respect to the principal point position coordinate O10.
- the distance between principal point positions O10 and O20 is also known.
- the distance measurement signal processing unit 408c uses the coordinates (x, y) of the feature point and the coordinates (xp, yp) of the corresponding point to calculate the three-dimensional position of the survey point T10 based on the principle of triangulation. It becomes possible to calculate coordinates (x, y, z). In this way, the distance measurement signal processing unit 408c can generate three-dimensional distance data of the measurement range S10 (see FIG. 1).
- the camera interface unit 50 is an interface between the photodetector 1 and an external device.
- the lens correction section 406 includes a control section 406a and a distortion correction section 406b.
- the control section 406a works in conjunction with the drive control section 30 to control the distortion correction section 406b.
- the distortion correction unit 406b uses the parameters stored in the parameter memory 404 to perform correction processing on the captured image data I10.
- FIG. 7 is a diagram showing the relationship between the coordinates (x'', y'') of the image before correction and the coordinates (x', y') after correction.
- Figure A is a distorted image before correction
- Figure B is a corrected image after correction.
- the parameter memory 404 stores distortion parameters k1, k2, k3, p1, and p2 in equations (1) and (2), for example.
- the distortion parameters can be determined by prior calibration using, for example, Zhang's method, and are obtained in advance.
- the strain parameters k1, k2, and k3 may be referred to as radial strain parameters
- the strain parameters p1 and p2 may be referred to as circumferential strain parameters. here,
- the distortion correction unit 406b uses the distortion parameters k1, k2, k3, p1, and p2 stored in the parameter memory 404 to perform distortion correction on the captured image data I10 (x'', y''). Data I10a (x', y') is generated.
- FIG. 8 is a diagram showing an example of an image regarding distortion parameters k1, k2, and k3.
- Figure A is an example of an image called a barrel shape
- Figure B is an example of an image called a pincushion shape.
- FIG. 9 is a diagram schematically showing a processing example of the distortion correction section 406b.
- H10 indicated by a large circle is the coordinate before correction
- H20 indicated by a small circle is the coordinate after correction.
- the pincushion-shaped distorted image can obtain a correction effect when the distortion parameters k1, k2, and k3 are positive. Further, the correction effect becomes smaller in the order of k1, k2, and k3. For example, if they are the same 1, the range of change in the coordinates after correction will be the smallest for k3.
- a barrel-shaped distorted image can be corrected if the distortion parameters k1, k2, and k3 are negative. Further, the correction effect becomes smaller in the order of k1, k2, and k3. For example, if they are the same 1, the range of change in the coordinates after correction will be the smallest for k3.
- FIG. 10 is a diagram schematically showing a processing example using the distortion parameters p1 and p2 of the distortion correction section 406b.
- p2 0
- H10 indicated by a large circle is the coordinate before correction
- H20 indicated by a small circle is the coordinate after correction.
- a correction effect can be obtained for an image that curves upward. If the distortion parameter p1 is negative, a correction effect can be obtained for an image that is curved downward. When the distortion parameter p2 is positive, a correction effect can be obtained for an image that is curved to the right. When the distortion parameter p2 is negative, a correction effect can be obtained for an image that is curved to the left.
- FIG. 11 is a diagram conceptually showing a situation in which the distortion parameters p1 and p2 of the distortion correction section 406b have a correction effect.
- FIG. 11 schematically shows a cross section of the lens L200 of the optical system 210 (see FIG. 1) and the pixel array section 202.
- Figure A shows an example in which the surface of the pixel array section 202 section and the optical axis L20 of the lens L200 of the optical system 210 (see FIG. 1) are perpendicular to each other
- Figure B shows the surface of the pixel array section 202 section and the optical system. This is an example in which the optical axes L20 of the lenses L200 of No. 210 (see FIG. 1) are not perpendicular to each other.
- Correction using the distortion parameters p1 and p2 is effective when the surface of the pixel array section 202 and the optical axis L20 of the lens L200 of the optical system 210 (see FIG. 1) are not perpendicular to each other, as shown in Figure B.
- the correction effect of the distortion parameters p1 and p2 is reduced.
- p1 0
- p2 0
- the distortion parameters p1 and p2 may not be used.
- the lens distortion correction unit 406 corrects the captured image I10 so that the epipolar line E10 becomes a straight line.
- the photodetection device 1 according to the second embodiment is the photodetection device according to the first embodiment in that the correction processing of the lens distortion correction unit 406 changes the number of distortion parameters used for correction according to the distortion of the image. Different from 1. Below, differences from the photodetecting device 1 according to the first embodiment will be explained.
- FIG. 12 is a block diagram showing a configuration example of the lens distortion correction section 406 according to the second embodiment.
- the lens distortion correction section 406 according to the second embodiment further includes a determination section 406c
- the distortion correction section 406b includes a first distortion correction section 406d and a second distortion correction section 406e. .
- the determining unit 406c determines whether to use either the first distortion correcting unit 406d or the second distortion correcting unit 406e for distortion correction.
- the determination unit 406c selects either the first distortion correction unit 406d or the second distortion correction unit 406e by referring to the value set in the parameter memory 404 by the user as a register setting. Further, the determination unit 406c may select either the first distortion correction unit 406d or the second distortion correction unit 406e to be used based on the accuracy estimated from the calibration result. More specifically, the determining unit 406c selects either the first distortion correcting unit 406d or the second distortion correcting unit 406e, depending on the magnitude of each of the distortion parameters k1, k2, and k3. For example, when the value of k3 exceeds a predetermined value, the first distortion correction section 406d is used.
- the first distortion correction unit 406d is used to perform more accurate correction using equations (4) and (5). That is, the first distortion correction unit 406d according to this embodiment uses distortion parameters k1, k2, and k3.
- the second distortion correction unit 406e uses equations (6) and (7) to perform correction with lower correction accuracy than when using equations (4) and (5). That is, the second distortion correction unit 406e according to this embodiment does not use the distortion parameter k3, but uses the distortion parameters k1 and k2.
- the determination unit 406c acquires information on the imaging magnification of the imaging optical system 201 from the imaging unit 20. Thereby, the determining unit 406c determines whether to use either the first distortion correcting unit 406d or the second distortion correcting unit 406e for distortion correction according to the imaging magnification of the imaging optical system 201 from the imaging unit 20. It is also possible. Lens distortion decreases as the imaging magnification increases. Therefore, for example, when the imaging magnification exceeds a predetermined value, the second distortion correction section 406e is used for distortion correction. On the other hand, when the imaging magnification is less than a predetermined value, the first distortion correction section 406d is used for distortion correction. Thereby, when the second distortion correction section 406e is used for distortion correction, it is possible to further increase the calculation speed. On the other hand, when the first distortion correction section 406d is used for distortion correction, it becomes possible to perform distortion correction with higher accuracy.
- FIG. 13 is a flowchart showing an example of processing by the first distortion correction section 406d and the second distortion correction section 406e.
- Figure A shows an example of processing by the first distortion correction unit 406d
- Figure B shows an example of processing by the second distortion correction unit 406e.
- the first distortion correction unit 406d calculates the square of r in equations (4) and (5) (step S10).
- loop 1 the fourth power of r in equations (4) and (5) is calculated between loops L12 and L16 (step S14).
- loop 2 the sixth power of r in equations (4) and (5) is calculated between loops L18 and L22 (step S20).
- step (S24) of performing correction calculation processing according to equations (4) and (5) For example, there are 21 multiplications and 9 additions.
- the second distortion correction unit 406e calculates the square of r in equations (6) and (7) (step S10).
- loop 1 the fourth power of r in equations (6) and (7) is calculated between loops L12 and L16 (step S14).
- step (S26) of performing correction calculation processing according to equations (6) and (7) For example, there are 11 multiplications and 5 additions.
- the second distortion correction section 406e does not have the loop 2 that calculates r to the sixth power, so it can perform calculations faster than the first distortion correction section 406d.
- the determination unit 406c may change the correction formula according to the correction accuracy required by the post-processing, and the correction accuracy of the post-processing can be maintained.
- the present embodiment does not deal with the strain parameters p1 and p2 in the circumferential direction, if the manufacturing accuracy of the product is maintained, the influence on the accuracy is slight. Therefore, if calculation speed is important, it is possible to reduce the circuit size and increase speed by making it incompatible.
- the number of distortion parameters used for correction processing by the lens distortion correction unit 406 is changed depending on the distortion of the image. This allows the number of correction parameters to be reduced depending on the level of correction, making it possible to speed up the processing.
- the photodetecting device 1 according to the third embodiment performs distance measurement on the corrected image subjected to distortion correction processing by the second distortion correction section 406e, and then the first distortion correction section increases the number of distortion parameters.
- the photodetecting device 1 is different from the photodetecting device 1 according to the second embodiment in that distortion correction processing is performed using the photodetecting device 406d. Below, differences from the photodetecting device 1 according to the second embodiment will be explained.
- FIG. 14 is a block diagram showing a configuration example of the signal processing section 40 according to the third embodiment.
- the signal processing section 40 according to the third embodiment includes a first lens distortion correction section 4062 and a second lens distortion correction section 4064.
- the first lens distortion correction section 4062 includes a control section 406a and a second distortion correction section 406e.
- the second lens distortion correction section 4064 includes a control section 406a and a first distortion correction section 406d.
- the photodetection device 1 performs the second distortion correction section 406e on the captured image I10. Then, the distance measurement unit 408 performs distance measurement processing on the corrected captured image. That is, the processing up to this point is equivalent to the low-accuracy processing of the signal processing unit 40 according to the second embodiment, and can be faster.
- the first distortion correction unit 406d performs correction processing on the (x, y) coordinate data of the three-dimensional distance measurement data generated by the distance measurement unit 408.
- the number of processing points is reduced to the number of feature points, so the correction processing by the first distortion correction unit 406d can be performed faster. becomes.
- the second distortion correction unit 406e performs distance measurement on the corrected image subjected to correction processing, and then the first distortion correction unit increases the number of distortion parameters. I decided to do 406d. Thereby, the number of processing points when performing the first distortion correction section 406d can be suppressed to the number of feature points, so that processing can be performed at higher speed.
- the photodetection device 1 according to the fourth embodiment extracts a region of interest (ROI) from the captured image data I10, and applies the region of interest (ROI) to the captured image data I10a with a restriction on the processing range of the captured image data I10a. This is different from the photodetecting device 1 according to the first embodiment in that distance measurement processing is performed using the photodetecting device 1 according to the first embodiment. Below, differences from the photodetecting device 1 according to the first embodiment will be explained.
- ROI region of interest
- FIG. 15 is a block diagram showing an example of the configuration of the photodetecting device 1 according to the fourth embodiment.
- the signal processing unit 40 according to the fourth embodiment further includes an ROI reading unit 403. Note that the ROI reading unit 403 according to this embodiment corresponds to a region of interest reading unit.
- the ROI reading unit 403 limits the processing range of the captured image data I10 used by the signal processing unit 40.
- the processing range may be a preset range, or may be a range from which the measurement target is extracted through recognition processing.
- General-purpose processing can be used for the recognition processing. For example, when the measurement target is a person's face, a general face extraction processing algorithm can be used.
- the ROI reading unit 403 cuts out a region of interest from, for example, the captured image data I10, reduces the capacity of the captured image data I10, and stores it in the memory 402. Processing after data extraction can be performed in the same manner as in the photodetector 1 according to the first embodiment.
- the distortion correction unit 406b may use equations (4) and (5) that do not use the distortion parameters p1 and p2, for example.
- the ROI reading unit 403 may store coordinate information indicating the region of interest in the memory 402 together with the captured image data I10. In this case, it is possible to perform the same process as the photodetection device 1 according to the first embodiment for the captured image data I10 in the range indicated by the coordinate information indicating the region of interest.
- the ROI readout unit 403 extracts a region of interest (ROI) from the captured image data I10, and limits the processing range of the captured image data I10. This makes it possible for the signal processing section 40 to limit the processing range and further increase the calculation speed.
- ROI region of interest
- the photodetection device 1 according to the fifth embodiment differs from the photodetection device 1 according to the first embodiment in that a correction process is performed on the three-dimensional data after the distance measurement is performed by the distance measurement unit 408. do. Below, differences from the photodetecting device 1 according to the first embodiment will be explained.
- FIG. 16 is a block diagram showing a configuration example of the signal processing section 40 according to the fifth embodiment.
- a distortion correction unit 406b performs distortion correction on the three-dimensional data after distance measurement has been performed by the distance measurement unit 408. be.
- the distortion correction unit 406b performs distortion correction on the plane coordinates (x, y) of the three-dimensional data generated by the distance measurement unit 408 using, for example, equations (4) and (5). In this case, since the number of two-dimensional coordinate points of the three-dimensional data generated by the distance measurement unit 408 is reduced to the number of feature points, it becomes possible to perform calculation processing by the distortion correction unit 406b at higher speed. . Furthermore, since the plane coordinates (x, y) after distortion correction are also associated with the value of the z coordinate before correction, the distortion correction unit 406b generates the data after distortion correction as three-dimensional data. .
- the distortion correction unit 406b performs distortion correction on the three-dimensional data after distance measurement has been performed by the distance measurement unit 408.
- the number of data on which the distortion correction unit 406b performs correction processing is reduced in accordance with the number of feature points, so that the calculation processing of the distortion correction unit 406b can be performed faster.
- the photodetection device 1 according to the sixth embodiment has the advantage that the first distortion correction section 406d and the second distortion correction section 406e share a part of the processing circuit. It differs from Below, differences from the photodetecting device 1 according to the second embodiment will be explained.
- FIG. 17 is a block diagram showing a configuration example of the lens distortion correction section 406 according to the sixth embodiment. As shown in FIG. 12, the lens distortion correction unit 406 according to the sixth embodiment shares a processing circuit C406 as a part of the processing circuit with the first distortion correction unit 406d and the second distortion correction unit 406e.
- circuits that perform the square and fourth power calculations of r in equations (4) and (6) are shared.
- circuits that perform the square and fourth power calculations of r in equations (5) and (7) are shared. This makes it possible to further reduce the circuit scale of the signal processing section 40.
- the photodetection system 1000 according to the seventh embodiment differs from the photodetection device 1 according to the first embodiment in that the photodetection device 1 according to the first embodiment is configured as a system. Below, differences from the photodetecting device 1 according to the first embodiment will be explained.
- FIG. 18 is a diagram showing a configuration example of a photodetection system 1000 according to the seventh embodiment.
- a photodetection system 1000 according to the seventh embodiment includes a projection device 10a, an imaging device 20a, and a processing device 40a.
- the projection device 10a is, for example, a projector, and has the same configuration as the projection unit 10.
- the imaging device 20a is, for example, a camera, and has the same configuration as the imaging unit 20.
- the processing device 40a is, for example, a processor, and has the same configuration as the signal processing section 40. That is, the optical axis of the projection optical system in the projection device 10a and the optical axis of the imaging optical system in the imaging device 20a are parallel.
- the processing device 40a includes a lens distortion correction unit 406 that corrects distortion of two-dimensional coordinates based on image data captured by the imaging device 20a. That is, the lens distortion correction unit 406 can correct the image data so that the epipolar line approaches a straight line.
- the photodetection system 1000 can also configure the projection device 10a, the imaging device 20a, and the processing device 40a as independent devices.
- the arrangement of the projection device 10a, the imaging device 20a, and the processing device 40a can be freely changed.
- the processing device 40a can be configured to have the same configuration as the signal processing section 40 of the photodetecting device 1 according to the first embodiment.
- the light detection system 1000a according to the eighth embodiment differs from the light detection system 1000 according to the seventh embodiment in that it further includes an imaging device 20b capable of stereo imaging. Below, differences from the photodetection system 1000 according to the seventh embodiment will be explained.
- FIG. 19 is a diagram showing a configuration example of a photodetection system 1000a according to the eighth embodiment.
- a photodetection system 1000a according to the eighth embodiment includes a projection device 10a, an imaging device 20a, and an imaging device 20b.
- the optical axis of the imaging optical system in the imaging device 20a is parallel to the optical axis of the imaging optical system in the imaging device 20b. That is, the epipolar lines of the imaging device 20a and the imaging device 20b are parallel.
- the imaging device 20b also has the same configuration as the signal processing section 40.
- the signal processing unit 40 performs distortion correction on each of the captured image data of the imaging device 20a and the imaging device 20b. That is, the lens distortion correction section 406 of the signal processing section 40 can correct the image data so that the epipolar line in the captured image data of the imaging device 20a and the imaging device 20b approaches a straight line.
- the signal processing unit 40 generates distance image data using the feature points of each of the captured image data after distortion correction.
- distortion correction is performed on the captured image data of the imaging device 20a and the imaging device 20b, respectively. By doing so, it is possible to further increase the calculation processing speed.
- an imaging unit that images a measurement range onto which a projection image having a predetermined pattern is projected; a signal processing unit that generates three-dimensional distance data of the measurement range based on captured image data captured by the imaging unit,
- the signal processing section is a photodetection device including a distortion correction section that corrects distortion of two-dimensional coordinates based on the captured image data.
- the imaging unit has an imaging optical system
- the projection unit has a projection optical system
- the optical detection device according to (2) wherein the optical axis of the imaging optical system and the optical axis of the projection optical system are parallel.
- the signal processing unit further includes a distance measurement unit that generates three-dimensional distance data of the measurement range based on the captured image data subjected to distortion correction processing by the distortion correction unit.
- the distortion correction section includes: a first distortion correction unit that corrects the captured image data so that the epipolar line approaches a straight line; a second distortion correction section whose calculation speed is faster than that of the first distortion correction section and whose correction accuracy is suppressed;
- the distortion correction section includes: The photodetection device according to (7), further comprising a determination unit that determines which of the first distortion correction unit and the second distortion correction unit is used based on predetermined conditions.
- the distortion correction unit can perform distortion correction according to the square of r based on the square of the x-coordinate and the square of the y-coordinate of the captured image data,
- the first distortion correction unit performs distortion correction based on the square, fourth, and sixth power of the r,
- the signal processing section includes: a second distortion correction unit that corrects the captured image data so that an epipolar line in the captured image data approaches a straight line; a distance measurement unit that generates the three-dimensional distance data based on the captured image data that has been distortion-corrected by the second distortion correction unit; a first distortion correction unit that corrects the two-dimensional coordinates so that the epipolar line in the two-dimensional coordinates of the three-dimensional distance data further approaches a straight line;
- the photodetection device according to (11), which has:
- the signal processing unit further includes a distance measurement unit that generates the three-dimensional distance data based on the captured image data
- the distortion correction section includes: The photodetection device according to (1), wherein the two-dimensional coordinates are corrected so that an epipolar line in the two-dimensional coordinates of the three-dimensional distance data approaches a straight line.
- a projection device that projects a predetermined projection pattern onto a measurement range via a projection optical system; an imaging device that captures an image of a measurement range onto which the projection pattern is projected via an imaging optical system;
- a processing device that generates three-dimensional distance data of the measurement range based on captured image data captured by the imaging device,
- the processing device is a photodetection system including a distortion correction section that corrects distortion of two-dimensional coordinates based on the captured image data.
- a projection device that projects a predetermined projection pattern onto a measurement range via a projection optical system; a first imaging device that images a measurement range onto which the projection pattern is projected via a first imaging optical system; a second imaging device that images the measurement range onto which the projection pattern is projected via a second imaging optical system; Equipped with The second imaging device generates three-dimensional distance data of the measurement range based on first captured image data captured by the first imaging device and second captured image data captured by the second imaging device. Equipped with a signal processing section to The signal processing unit includes a distortion correction unit that corrects distortion of the two-dimensional coordinates of the first captured image data and distortion of the two-dimensional coordinates of the second captured image data.
- the optical axis of the first imaging optical system and the optical axis of the second imaging optical system are parallel, The photodetection system according to (19), wherein the distortion correction unit corrects the first captured image data and the second captured image data so that the epipolar line approaches a straight line.
- Photodetection device 10: Projection unit, 10a: Projection device, 20: Imaging unit, 20a, 20b: Imaging device, 40: Signal processing unit, 40a: Processing device, 101: Projection optical system, 201: Imaging optical system , 406: Lens distortion correction section, 406c: Determination section, 406d: First distortion correction section 406e: Second distortion correction section, 408: Distance measurement section, 1000, 1000a: Photo detection system.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
[課題]本開示では、より効率的に3次元形状を計測可能な光検出装置、および光検出システムを提供する。 [解決手段]本開示によれば、予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、撮像部が撮像した撮像画像データに基づき、計測範囲の3次元距離データを生成する信号処理部と、を備え、信号処理部は、撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置が提供される。
Description
本開示は、光検出装置、および光検出システムに関する。
プロジェクタとカメラとを有し、パタン投影法によって物体の3次元形状を計測する光検出装置が知られている。
このような光検出装置は、距離情報に基づいて算出した歪パラメータからエピポーラ線の歪を補正し、3次元点の位置を再計算する場合がある。しかしながら、距離に基づいて歪パラメータを適応的に変えながら歪補正を実施するため演算量が膨大になってしまう。このため、回路規模の大型化、及びレイテンシの悪化などが生じる恐れがある。
そこで、本開示では、より効率的に3次元形状を計測可能な光検出装置、および光検出システムを提供する。
上記の課題を解決するために、本開示によれば、
予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、
前記撮像部が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する信号処理部と、を備え、
前記信号処理部は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置が提供される。
予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、
前記撮像部が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する信号処理部と、を備え、
前記信号処理部は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置が提供される。
前記投影画像を投影する投影部を更に備えてもよい。
前記撮像部は撮像光学系を有し、
前記投影部は投影光学系を有し、
前記撮像光学系の光軸と、前記投影光学系の光軸とは平行であってもよい。
前記投影部は投影光学系を有し、
前記撮像光学系の光軸と、前記投影光学系の光軸とは平行であってもよい。
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行ってもよい。
前記信号処理部は、前記歪補正部が歪み補正処理をした前記撮像画像データに基づき、前記計測範囲の3次元距離データを生成する距離計測部を、更に有してもよい。
前記歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正してもよい。
前記歪補正部は、
エピポーラ線が直線に近づくように、前記撮像画像データを補正する第1歪補正部と、
前記第1歪補正部よりも演算速度が速く、且つ補正精度が抑制された第2歪補正部と、を有し、
所定の条件により、前記第1歪補正部又は前記第2歪補正部の一方を選択して歪補正を行ってもよい。
エピポーラ線が直線に近づくように、前記撮像画像データを補正する第1歪補正部と、
前記第1歪補正部よりも演算速度が速く、且つ補正精度が抑制された第2歪補正部と、を有し、
所定の条件により、前記第1歪補正部又は前記第2歪補正部の一方を選択して歪補正を行ってもよい。
前記歪補正部は、
所定の条件により、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する判定部を更に有してもよい。
所定の条件により、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する判定部を更に有してもよい。
前記判定部は、撮像光学系の撮像倍率に応じて、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定してもよい。
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行うことが可能であり、
前記第1歪補正部は、前記rの2乗、4乗、及び6乗に基づき、歪補正し、
前記第2歪補正部は、前記rの2乗、及び4乗に基づき、歪補正してもよい。
前記第1歪補正部は、前記rの2乗、4乗、及び6乗に基づき、歪補正し、
前記第2歪補正部は、前記rの2乗、及び4乗に基づき、歪補正してもよい。
前記距離計測部は、歪補正後の前記撮像画像データの一方向に向けて特徴点を抽出してもよい。
前記距離計測部は、三角測量の原理を用いて前記3次元距離データを生成してもよい。
前記信号処理部は、
前記撮像画像データにおけるエピポーラ線が直線に近づくように、前記撮像画像データを補正する第2歪補正部と、
前記第2歪補正部で歪み補正された前記撮像画像データに基づき前記3次元距離データを生成する距離計測部と、
前記3次元距離データの2次元座標におけるエピポーラ線が更に直線に近づくように、前記2次元座標を補正する第1歪補正部と、
を有してもよい。
前記撮像画像データにおけるエピポーラ線が直線に近づくように、前記撮像画像データを補正する第2歪補正部と、
前記第2歪補正部で歪み補正された前記撮像画像データに基づき前記3次元距離データを生成する距離計測部と、
前記3次元距離データの2次元座標におけるエピポーラ線が更に直線に近づくように、前記2次元座標を補正する第1歪補正部と、
を有してもよい。
画像データの範囲を制限する関心領域読み出し部を、更に備え、
前記信号処理部は、前記制限された範囲において、前記計測範囲の3次元距離データを生成してもよい。
前記信号処理部は、前記制限された範囲において、前記計測範囲の3次元距離データを生成してもよい。
前記信号処理部は、前記撮像画像データに基づき前記3次元距離データを生成する距離計測部を、更に有し、
前記歪補正部は、
前記3次元距離データの2次元座標におけるエピポーラ線が直線に近づくように、前記2次元座標を補正してもよい。
前記歪補正部は、
前記3次元距離データの2次元座標におけるエピポーラ線が直線に近づくように、前記2次元座標を補正してもよい。
前記第1歪補正部と、前記第2歪補正部とは、前記rの2乗、及び4乗の演算を行う処理部を共有してもよい。
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有してもよい。
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有してもよい。
上記の課題を解決するために、本開示によれば、
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出システムが提供される。
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出システムが提供される。
前記投影光学系の光軸と、前記撮像光学系の光軸とは、平行であり、
歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正してもよい。
歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正してもよい。
上記の課題を解決するために、本開示によれば、
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、第1撮像光学系を介して撮像する第1撮像装置と、
前記投影パタンが投影された計測範囲を、第2撮像光学系を介して撮像する第2撮像装置と、
を備え、
前記第2撮像装置は、前記第1撮像装置が撮像した第1撮像画像データと、前記第2撮像装置が撮像した第2撮像画像データと、に基づき、前記計測範囲の3次元距離データを生成する信号処理部を備え、
前記信号処理部は、前記第1撮像画像データの2次元座標の歪み、及び前記第2撮像画像データの2次元座標の歪みを補正する歪補正部を有する、光検出システムが提供される。
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、第1撮像光学系を介して撮像する第1撮像装置と、
前記投影パタンが投影された計測範囲を、第2撮像光学系を介して撮像する第2撮像装置と、
を備え、
前記第2撮像装置は、前記第1撮像装置が撮像した第1撮像画像データと、前記第2撮像装置が撮像した第2撮像画像データと、に基づき、前記計測範囲の3次元距離データを生成する信号処理部を備え、
前記信号処理部は、前記第1撮像画像データの2次元座標の歪み、及び前記第2撮像画像データの2次元座標の歪みを補正する歪補正部を有する、光検出システムが提供される。
前記第1撮像光学系の光軸と、前記第2撮像光学系の光軸とは、平行であり、
前記歪補正部は、エピポーラ線が直線に近づくように、前記第1撮像画像データ、及び前記第2撮像画像データを補正してもよい。
前記歪補正部は、エピポーラ線が直線に近づくように、前記第1撮像画像データ、及び前記第2撮像画像データを補正してもよい。
以下、図面を参照して、光検出装置、および光検出システムの実施形態について説明する。以下では、光検出装置、および光検出システムの主要な構成部分を中心に説明するが光検出装置、および光検出システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1実施形態)
図1は、本技術を適用した光検出装置の概略構成例を示している図である。図1に示す光検出装置1は、例えば投影部10、及び撮像部20を少なくとも有する。光検出装置1は、例えば携帯可能な装置として、より小型化可能な装置として構成される。
図1は、本技術を適用した光検出装置の概略構成例を示している図である。図1に示す光検出装置1は、例えば投影部10、及び撮像部20を少なくとも有する。光検出装置1は、例えば携帯可能な装置として、より小型化可能な装置として構成される。
投影部10は、例えばプロジェクタであり、明部と暗部の2種類の輝度を有する投影画像P10を生成して計測範囲S10に照射する。投影画像P10は、例えば、図1に示されるような、格子パタンである。この格子パタンには、固有の幾何学形状を有する特徴点が二次元の格子状に配置されている。例えば各特徴点には、それぞれ固有のコードとして特徴量が割り振られている。
また、各特徴点には、投影部10の主点位置に対する三次元座標が予め割振られている。なお、投影画像P10は、格子パタンであるが、これに限定されない。例えば、規則的または不規則的な所定の間隔で配置されたドット形状からなる複数のスポットSPを明部とし、その他の領域を暗部とするパタン光などでもよい。
撮像部20は、例えばカメラであり、計測範囲S10の投影画像P10を撮像画像データI10として撮像する。光検出装置1は、撮像画像I10上での特徴点の座標を検出し、後述するように三角測量の原理により、投影部10又は撮像部20の主点位置からの計測範囲S10の距離値を生成する。
図2は、光検出装置1の構成例を示すブロック図である。図2に示すように、光検出装置1は、投影部10と、撮像部20と、駆動制御部30と、信号処理部40と、カメラインターフェース部50と、を備える。
投影部10は、光軸L10を有する投影光学系101と、液晶部102とを有する。液晶部102は、二次元状の投影画像P10を輝度画像として生成する。また、この投影画像P10における行方向の位置をxp座標とし、列方向の位置をyp座標とする。液晶部102は、例えば後述するメモリ402に記憶されている投影画像P10(図1参照)の原データを用いて、投影画像P10を輝度画像として生成する。これにより、上述のように、投影部10は、投影光学系101を介して、投影画像P10を計測範囲S10に投影する。
撮像部20は、光軸L20を有する撮像光学系201と、二次元状に撮像素子が配置された画像アレイ部202と、を有する。光軸L10と光軸L20は、平行である。画像アレイ部202は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。すなわち、画像アレイ部202は、撮像光学系201を介して計測範囲S10の投影画像P10(図1参照)を撮像して、撮像画像データI10を生成する。画像アレイ部202の行方向の位置をx座標とし、列方向の位置をy座標とする。
駆動制御部30は、例えばCPU(CentralProcessingUnit)を含んで構成される。駆動制御部30は、例えば操作部(不図示)の入力信号に基づき、投影部10及び撮像部20を制御する。
信号処理部40は、例えばCPU(CentralProcessingUnit)を含んで、一つの半導体基板上に構成される。すなわち、この信号処理部40は、メモリ402と、パラメータメモリ404と、レンズ歪補正部406と、距離計測部408とを備える。なお、本実施形態に係るレンズ歪補正部406が歪補正部に対応する。
メモリ402は、信号処理部40の所定のプログラムを記憶すると共に、投影画像P10(図1参照)の原データ、及び撮像画像データI10を記憶することが可能である。パラメータメモリ404は、投影画像P10の各特徴点に関連づけて座標、及び特徴点の幾何学的特徴を数値化した特徴量を記憶する。
また、メモリ402は、後述する距離演算で必要となる投影部10の主点位置、撮像部20の主点位置、及び主点位置間の距離、撮像部20における撮像光学系201の歪パラメータなどを記憶している。すなわち、この信号処理部40は、メモリ402に記憶されるプログラムにしたがい、パラメータメモリ404に記憶される各情報を用いて、信号処理を行うことにより、計測範囲S10の主点位置からの距離値を生成する。
図3は、レンズ歪補正部406の処理例を示す図である。A図は、レンズ歪補正部406の処理前の撮像画像データI10を二次元状の画像として示す例であり、B図は、レンズ歪補正部406の処理後の撮像画像データI10aを二次元状の画像として示す例である。光軸L10と光軸L20は、平行であるので、レンズ歪補正後のエピポーラ線E10は、直線となり、画像アレイ部202の行方向と平行となる。レンズ歪補正部406の詳細は後述する。
図4乃至図6を用いて、距離計測部408を説明する。図4は、距離計測部408の構成例を示すブロック図である。図4に示すように、距離計測部408は、レンズ歪補正部406による補正処理後の撮像画像データI10aを用いて、距離計測処理を行う。すなわち、この距離計測部408は、2値化信号処理部408aと、特徴量算出部408bと、距離計測信号処理部408cとを有する。
図5は、2値化信号処理部408aの処理例を示す図である。図Aは、レンズ歪補正部406の処理後の撮像画像データI10aを二次元状の画像として示す図であり、図Bは、2値化信号処理部408aの処理後の撮像画像データI10bを二次元状の画像として示す図である。図5に示すように、2値化信号処理部408aは、所定の閾値に従い、撮像画像データI10aに基づき、2値を有する撮像画像データI10bを生成する。
図6は、特徴点の座標を用いた三角測量の処理例を示す図である。図Cは、2値の値を有する撮像画像データI10bからの特徴点の抽出処理例を示す図であり、図Dは、特徴点に対応する投影画像P10の座標を示す図である。
図6のC図に示すように、レンズ歪補正部406の2値化処理後のエピポーラ線E10(図3参照)は、直線となる。このため、特徴量算出部408bは、2値化処理後の撮像画像データI10bの行方向に沿って、特徴点(x、y)の抽出と、特徴量を算出する。例えば、特徴量算出部408bは、エッジの座標を特徴点として抽出し、特徴点周囲の画素値を用いて特徴量を算出する。
この場合、エピポーラ線E10(図3参照)は、直線となっているので、特徴量算出部408bは、行方向の座標に沿って特徴点の抽出を行うことが可能となる。さらに、特徴点周囲の画素値の算出範囲も、画像が補正されているので、特徴点から列方向に所定幅の範囲から特徴量の算出を行うことが可能となる。このため、より高速に特徴量の演算が可能となる。これによりレイテンシがより上がると共に、特徴量の演算精度がより高精度となる。
これに対して、補正前の画像(図3A参照)を用いる場合には、行方向の特徴点の抽出を行うためには、エピポーラ線E10における湾曲幅以上の列方向の範囲から特徴点の抽出、及び特徴量の演算をする必要が生じる。このため、補正前の画像(図3A参照)を用いる場合には、補正後の画像(図3B参照)を用いる場合よりも演算量が、例えば数十倍から数千倍になってしまう場合がある。これから分かるように、特徴量の演算に要するメモリ容量も、補正後の画像(図3B参照)を用いる場合には、補正前の画像(図3A参照)を用いる場合より少なくすることが可能となる。
距離計測信号処理部408cは、特徴点の特徴量に対応する特徴点の座標(xp、yp)をパラメータメモリ404から取得する。図6に示すように、投影部10の主点位置O10、液晶部102の表示面P10の座標は既知である。同様に、撮像部20の画像アレイ部202表示面P20の座標は既知である。このため、特徴点の座標(x、y)、及び特徴点に対応する座標(xp、yp)の3次元座標を、主点位置座標O10に対して生成することが可能である。更に、主点位置O10とO20間の距離も既知である。これらから分かるように、距離計測信号処理部408cは、特徴点の座標(x、y)と、対応点の座標(xp、yp)を用いて、三角測量の原理により、測量点T10の3次元座標(x、y、z)を演算することが可能となる。このように、距離計測信号処理部408cは、計測範囲S10(図1参照)の3次元距離データを生成することが可能である。カメラインターフェース部50は、光検出装置1と外部装置とのインターフェースである。
ここで、レンズ補正部406の詳細を説明する。再び図2に示すように、レンズ補正部406は、制御部406aと、歪補正部406bを有する。制御部406aは、駆動制御部30と連動し、歪補正部406bを制御する。
歪補正部406bは、パラメータメモリ404に記憶するパラメータを用いて、撮像画像データI10の補正処理を行う。図7は、補正前の画像の座標(x”、y”)と補正後の座標(x’、y’)との関係を示す図である。A図は、補正前の歪画像であり、B図は、補正後の補正画像である。パラメータメモリ404は、例えば(1)式及び(2)式に歪パラメータk1、k2、k3、p1、p2を記憶している。歪パラメータは、例えばZhangの手法による事前のキャリブレーションにより求めることが可能であり、予め取得されている。また、歪パラメータk1、k2、k3は半径方向の歪パラメータと称する場合があり、歪パラメータp1、p2は円周方向の歪パラメータと称する場合がある。
ここで、
本実施形態に係る歪補正部406bは、パラメータメモリ404に記憶する歪パラメータk1、k2、k3、p1、p2を用いて、撮像画像データI10(x”、y”)から歪み補正をした撮像画像データI10a(x’、y’)を生成する。
ここで、図8乃至図11を用いて、歪パラメータk1、k2、k3、p1、p2と補正画像との関係を説明する。図8は、歪パラメータk1、k2、k3に関する画像例を示す図である。A図は、樽型と称する画像例であり、B図は、糸巻型と称する画像例である。
図9は、歪補正部406bの処理例を模式的に示す図である。図Aは、歪パラメータk1=1、k2=0、k3=0の処理例であり、図Bは、歪パラメータk1=0、k2=1、k3=0の処理例であり、図Cは、歪パラメータk1=0、k2=0、k3=1の処理例である。図Dは、歪パラメータk1=-1、k2=0、k3=0の処理例であり、図Eは、歪パラメータk1=0、k2=-1、k3=0の処理例であり、図Fは、歪パラメータk1=0、k2=0、k3=-1の処理例である。大きな○で示すH10が補正前の座標であり、小さな○で示すH20が補正後の座標を示す。
これらの図から分かるように、糸巻型の歪画像は、歪パラメータk1、k2、k3がプラスであると補正効果を得られる。また、k1、k2、k3の順で補正効果が小さくなる。例えば、同じ1ならば、補正後の座標の変更範囲が、k3が最も小さくなる。
一方で、樽型の歪画像は、歪パラメータk1、k2、k3がマイナスであると補正効果を得られる。また、k1、k2、k3の順で補正効果が小さくなる。例えば、同じ1ならば、補正後の座標の変更範囲が、k3が最も小さくなる。
図10は、歪補正部406bの歪パラメータp1、p2を用いた処理例を模式的に示す図である。図Aは、歪パラメータp1=1、p2=0の処理例であり、図Bは、歪パラメータp1=-1、p2=0の処理例であり、図Cは、歪パラメータp1=0、p2=1の処理例である。図Dは、歪パラメータp1=0、p2=-1の処理例である。大きな○で示すH10が補正前の座標であり、小さな○で示すH20が補正後の座標を示す。
これらの図から分かるように、歪パラメータp1がプラスであると上側に湾曲をする画像に対する補正効果を得られる。歪パラメータp1がマイナスであると下側に湾曲をする画像に対する補正効果を得られる。歪パラメータp2がプラスであると右側に湾曲をする画像に対する補正効果を得られる。歪パラメータp2がマイナスであると左側に湾曲をする画像に対すする補正効果を得られる。
図11は、歪補正部406bの歪パラメータp1、p2が補正効果を有する状況を概念的に示す図である。図11は、光学系210(図1参照)のレンズL200と、画素アレイ部202の断面を模式的に示す。A図は、画素アレイ部202部の表面と光学系210(図1参照)のレンズL200の光軸L20が直交している例であり、B図は、画素アレイ部202部の表面と光学系210(図1参照)のレンズL200の光軸L20が直交していない例である。歪パラメータp1、p2による補正は、B図に示すように、画素アレイ部202部の表面と光学系210(図1参照)のレンズL200の光軸L20が直交していない場合に有効となる。なお、本実施形態に係る光検出装置1では、例えば光検出装置1の光学系等のアライメントが製造時検査により基準を満たしている場合には、歪パラメータp1、p2の補正効果は減少するので、p1=0、p2=0として、歪パラメータp1、p2を用いなくてもよい。
以上説明したように、本実施形態によれば、レンズ歪補正部406が、エピポーラ線E10が直線となるように、撮像画像I10を補正することとした。これにより、距離計測部408による特徴点の演算範囲を、画像の列方向の所定の範囲内に制限することが可能となる。このため、距離計測部408は、特徴点の抽出と、特徴量の演算を画像の列方向の所定の範囲内の制限を設けて、行方向に一方向で演算できるので、距離計測における演算処理回数を抑制すると共に、測定精度を向上させることが可能となる。
(第2実施形態)
第2実施形態に係る光検出装置1は、レンズ歪補正部406の補正処理を画像の歪みに応じて、補正に用いる歪みパラメータの数を変更する点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
第2実施形態に係る光検出装置1は、レンズ歪補正部406の補正処理を画像の歪みに応じて、補正に用いる歪みパラメータの数を変更する点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
図12は、第2実施形態に係るレンズ歪補正部406の構成例を示すブロック図である。図12に示すように、第2実施形態に係るレンズ歪補正部406は、判定部406cを更に有し、歪み補正部406bは、第1歪補正部406dと、第2歪補正部406eを有する。
判定部406cは、第1歪補正部406dと、第2歪補正部406eとのいずれかを歪み補正に用いるかを判定する。判定部406cは、ユーザーがレジスタ設定として、パラメータメモリ404に設定した値を参照して、第1歪補正部406dと、第2歪補正部406eとのいずれを選択する。また、判定部406cは、キャリブレーション結果から推定した精度に基づいて使用する第1歪補正部406dと、第2歪補正部406eとのいずれを選択してもよい。より具体的には、判定部406cは、歪パラメータk1、k2、k3の各パラメータの大きさにより、第1歪補正部406dと、第2歪補正部406eとのいずれを選択する。例えば、k3の値が所定値を越える場合に、第1歪補正部406dを用いる。
例えば、第1歪補正部406dは、(4)、(5)式を用いて、より高精度な補正を行う場合に用いられる。すなわち、本実施形態に係る第1歪補正部406dは、歪パラメータk1、k2、k3を用いる。なお、本実施形態に係る光検出装置1では、例えば光検出装置1の光学系等のアライメントは製造時検査により基準を満たしているので、p1=0、p2=0として、歪パラメータp1、p2を用いない例で説明する。
例えば、第2歪補正部406eは、(6)、(7)式を用いて、(4)、(5)式を用いる場合よりも補正精度を低下させた補正に用いられる。すなわち、本実施形態に係る第2歪補正部406eは、歪パラメータk3を用いず、歪パラメータk1、k2を用いる。
また、判定部406cは、撮像部20から撮像光学系201の撮像倍率の情報を取得している。これにより、判定部406cは、撮像部20から撮像光学系201の撮像倍率に応じて、第1歪補正部406dと、第2歪補正部406eとのいずれかを歪み補正に用いるかを判定することも可能である。撮像倍率が大きくなるにしたがい、レンズ歪みが低減する。このため、例えば撮像倍率が所定値を越える場合に、第2歪補正部406eを歪補正に用いる。一方で、撮像倍率が所定値未満である場合に、第1歪補正部406dを歪補正に用いる。これにより、第2歪補正部406eを歪補正に用いる場合には、演算速度をより上げることが可能となる。一方で、第1歪補正部406dを歪補正に用いる場合には、より高精度に歪み補正を行うことが可能となる。
図13は、第1歪補正部406dと、第2歪補正部406eとの処理例を示すフローチャートである。A図が第1歪補正部406dの処理例を示し、B図が第2歪補正部406eの処理例を示す。
図13に示すように、第1歪補正部406dは(4)、(5)式におけるrの2乗を演算する(ステップS10)。次にループ1としてループL12とL16の間で、(4)、(5)式におけるrの4乗を演算する(ステップS14)。次にループ2としてループL18とL22の間で、(4)、(5)式におけるrの6乗を演算する(ステップS20)。そして、(4)、(5)式に従い、補正演算処理を行うステップ(S24)。例えば、乗算21回、加算9回の演算となる。
一方で、第2歪補正部406eは、(6)、(7)式におけるrの2乗を演算する(ステップS10)。次にループ1としてループL12とL16の間で、(6)、(7)式におけるrの4乗を演算する(ステップS14)。そして、(6)、(7)式に従い、補正演算処理を行うステップ(S26)。例えば、乗算11回、加算5回の演算となる。これらから分かるように、第2歪補正部406eは、rの6乗を演算するループ2を有さないので、第1歪補正部406dよりも高速に演算が可能となる。
また、判定部406cは、後段処理の要求する補正精度に応じて、補正式を変更してもよく、後段処理の補正精度を維持可能である。また、本実施系形態では円周方向の歪パラメータp1、p2には対応していないが、製品の製造精度が維持されている場合には、精度への影響は軽微である。このため、演算速度を重視する場合には、非対応にすることで回路規模削減、高速化を計ることが可能である。
以上説明したように、本実施形態によれば、レンズ歪補正部406の補正処理を画像の歪みに応じて、補正に用いる歪みパラメータの数を変更することとした。これにより、補正のレベルに応じて、補正パラメータの数を削減でき、処理をより高速にすることが可能となる。
(第3実施形態)
第3実施形態に係る光検出装置1は、第2歪補正部406eにより歪補正処理を行った補正画像に対して距離計測を行い、その後に、歪みパラメータ数を増加させた第1歪補正部406dにより歪補正処理を行う点で、第2実施形態に係る光検出装置1と相違する。以下では、第2実施形態に係る光検出装置1と相違する点を説明する。
第3実施形態に係る光検出装置1は、第2歪補正部406eにより歪補正処理を行った補正画像に対して距離計測を行い、その後に、歪みパラメータ数を増加させた第1歪補正部406dにより歪補正処理を行う点で、第2実施形態に係る光検出装置1と相違する。以下では、第2実施形態に係る光検出装置1と相違する点を説明する。
図14は、第3実施形態に係る信号処理部40の構成例を示すブロック図である。図14に示すように、第3実施形態に係る信号処理部40は、第1レンズ歪み補正部4062と、第2レンズ歪み補正部4064と、を有する。第1レンズ歪み補正部4062は、制御部406aと、第2歪補正部406eとを有する。第2レンズ歪み補正部4064は、制御部406aと、第1歪補正部406dとを有する。
第3実施形態に係る光検出装置1は、撮像画像I10に対して、第2歪補正部406eを行う。そして、補正後の撮像画像に対して距離計測部408が距離計測処理を行う。すなわち、ここまでの処理は、第2実施形態に係る信号処理部40の低精度側の処理と同等であり、高速化が可能である。
そして、距離計測部408が生成した3次元の距離計測データの(x、y)座標のデータに対して、第1歪補正部406dによる補正処理を行う。この場合、距離計測部408が生成した3次元の距離計測データを用いるので、処理点数が特徴点の数まで減っているのでより高速に、第1歪補正部406dによる補正処理を行うことが可能となる。
以上説明したように、本実施形態によれば、第2歪補正部406eにより補正処理を行った補正画像に対して距離計測を行い、その後に、歪みパラメータ数を増加させた第1歪補正部406dを行うこととした。これにより、第1歪補正部406dを行う際の処理点数を特徴点の数まで抑制できるので、より高速に処理を行うことが可能となる。
(第4実施形態)
第4実施形態に係る光検出装置1は、撮像画像データI10のなかから関心領域(ROI:Region of Interest)を抽出し、撮像画像データI10aの処理範囲に制限を設けた撮像画像データI10aに対して距離計測処理を行う点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
第4実施形態に係る光検出装置1は、撮像画像データI10のなかから関心領域(ROI:Region of Interest)を抽出し、撮像画像データI10aの処理範囲に制限を設けた撮像画像データI10aに対して距離計測処理を行う点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
図15は、第4実施形態に係る光検出装置1の構成例を示すブロック図である。図15に示すように、第4実施形態に係る信号処理部40は、ROI読み出し部403を更に有する。なお、本実施形態に係るROI読み出し部403が関心領域読み出し部に対応する。
ROI読み出し部403は、信号処理部40が用いる撮像画像データI10の処理範囲を制限する。処理範囲は、予め設定された範囲でもよく、或いは、認識処理により測定対象を抽出した範囲でもよい。認識処理には、汎用的な処理を用いることが可能である。例えば、測定対象が人物の顔である場合には、一般的な顔抽出処理アルゴリズムを用いることが可能である。
ROI読み出し部403は、例えば撮像画像データI10のなかから関心領域を切り出し、撮像画像データI10の容量を削減して、メモリ402に記憶させる。データ切り出し後の処理は、第1実施形態に係る光検出装置1と同等に行うことが可能である。なお、歪み補正部406bは、例えば歪パラメータp1、p2を用いない(4)、(5)式を用いてもよい。
或いは、ROI読み出し部403は、関心領域を示す座標情報を撮像画像データI10と共にメモリ402に記憶させてもよい。この場合には、関心領域を示す座標情報で示す範囲の撮像画像データI10に対して、第1実施形態に係る光検出装置1と同等に行うことが可能である。
以上説明したように、本実施形態によれば、ROI読み出し部403が、撮像画像データI10のなかから関心領域(ROI)を抽出し、撮像画像データI10の処理範囲に制限を設けることとした。これにより、信号処理部40は、処理範囲を限定することが可能となり、より演算速度を上げることが可能となる。
(第5実施形態)
第5実施形態に係る光検出装置1は、距離計測部408により距離計測が行われた後の3次元データに対して補正処理を行う点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
第5実施形態に係る光検出装置1は、距離計測部408により距離計測が行われた後の3次元データに対して補正処理を行う点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
図16は、第5実施形態に係る信号処理部40の構成例を示すブロック図である。図16に示すように、第5実施形態に係る信号処理部40では、距離計測部408により距離計測が行われた後の3次元データに対して、歪補正部406bが歪み補正を行うものである。
歪補正部406bは、距離計測部408により生成された3次元データの平面座標(x、y)に対して、例えば(4)、(5)式を用いて歪み補正を行う。この場合、距離計測部408により生成された3次元データの2次元座標の点数は、特徴点の数に減少しているので、歪補正部406bの演算処理をより高速に行うことが可能となる。また、歪み補正後の平面座標(x、y)には、補正前のz座標の値も対応づけられているので、歪補正部406bは、3次元データとして、歪み補正後のデータを生成する。
以上説明したように、本実施形態によれば、距離計測部408により距離計測が行われた後の3次元データに対して、歪補正部406bが歪み補正を行うこととした。これにより、歪補正部406bが補正処理を行うデータ数が、特徴点の数に応じて減少するので、歪補正部406bの演算処理をより高速に行うことが可能となる。
(第6実施形態)
第6実施形態に係る光検出装置1は、第1歪補正部406dと、第2歪補正部406eとの処理回路の一部を共有化する点で、第2実施形態に係る光検出装置1と相違する。以下では、第2実施形態に係る光検出装置1と相違する点を説明する。
第6実施形態に係る光検出装置1は、第1歪補正部406dと、第2歪補正部406eとの処理回路の一部を共有化する点で、第2実施形態に係る光検出装置1と相違する。以下では、第2実施形態に係る光検出装置1と相違する点を説明する。
図17は、第6実施形態に係るレンズ歪補正部406の構成例を示すブロック図である。図12に示すように、第6実施形態に係るレンズ歪補正部406は、第1歪補正部406dと、第2歪補正部406eとの処理回路の一部として処理回路C406を共有化する。
例えば、(4)、(6)式のrの2乗、4乗演算を行う回路を共有化する。同様に、(5)、(7)式のrの2乗、4乗演算を行う回路を共有化する。これにより、信号処理部40の回路規模をより小型化することが可能となる。
(第7実施形態)
第7実施形態に係る光検出システム1000は、第1実施形態に係る光検出装置1をシステムとして構成する点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
第7実施形態に係る光検出システム1000は、第1実施形態に係る光検出装置1をシステムとして構成する点で、第1実施形態に係る光検出装置1と相違する。以下では、第1実施形態に係る光検出装置1と相違する点を説明する。
図18は、第7実施形態に係る光検出システム1000の構成例を示す図である。図18に示すように、第7実施形態に係る光検出システム1000は、投影装置10aと、撮像装置20aと、処理装置40aと、を備える。投影装置10aは、例えばプロジェクタであり、投影部10と同等の構成を有する。
また、撮像装置20aは、例えばカメラであり、撮像部20と同等の構成を有する。処理装置40aは、例えばプロセッサであり、信号処理部40と同等の構成を有する。すなわち、投影装置10aにおける投影光学系の光軸と、撮像装置20aにおける撮像光学系の光軸とは、平行である。また、処理装置40aは、撮像装置20aが撮像した画像データに基づく2次元座標の歪みを補正するレンズ歪補正部406を有する。すなわち、このレンズ歪補正部406は、エピポーラ線が直線に近づくように、画像データを補正することが可能である。
このように、光検出システム1000は、投影装置10aと、撮像装置20aと、処理装置40aと、を独立した装置と構成することも可能である。このように、投影装置10aと、撮像装置20aと、処理装置40aと、を独立した装置とすることで、投影装置10aと、撮像装置20aと、処理装置40aとの配置を自在に変更可能となる。なお、処理装置40aには、第1乃至題実施形態に係る光検出装置1の信号処理部40と同等の構成を有するように構成可能である。
(第8実施形態)
第8実施形態に係る光検出システム1000aは、ステレオを撮影可能な撮像装置20bを更に有する点で、第7実施形態に係る光検出システム1000と相違する。以下では、第7実施形態に係る光検出システム1000と相違する点を説明する。
第8実施形態に係る光検出システム1000aは、ステレオを撮影可能な撮像装置20bを更に有する点で、第7実施形態に係る光検出システム1000と相違する。以下では、第7実施形態に係る光検出システム1000と相違する点を説明する。
図19は、第8実施形態に係る光検出システム1000aの構成例を示す図である。図19に示すように、第8実施形態に係る光検出システム1000aは、投影装置10aと、撮像装置20aと、撮像装置20bと、を備える。撮像装置20aにおける撮像光学系の光軸は、撮像装置20bにおける撮像光学系の光軸と平行である。すなわち、撮像装置20aと、撮像装置20bとのエピポーラ線は平行となる。また、撮像装置20bは、信号処理部40と同等の構成も有する。信号処理部40は、撮像装置20aと、撮像装置20bとの撮像画像データそれぞれに対して、歪み補正を行う。すなわち、信号処理部40のレンズ歪補正部406は、撮像装置20aと、撮像装置20bとの撮像画像データにおけるエピポーラ線が直線に近づくように、画像データを補正することが可能である。
そして、信号処理部40は、歪み補正後の撮像画像データそれぞれの特徴点を用いて距離画像データを生成する。このように、撮像装置20aと、撮像装置20bと、を独立に構成した光検出システム1000aに対しても、撮像装置20aと、撮像装置20bとの撮像画像データそれぞれに対して、歪み補正を行うことにより、演算処理速度をより高速にすることが可能である。
なお、本技術は以下のような構成を取ることができる。
(1)
予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、
前記撮像部が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する信号処理部と、を備え、
前記信号処理部は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置。
予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、
前記撮像部が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する信号処理部と、を備え、
前記信号処理部は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置。
(2)
前記投影画像を投影する投影部を更に備える、(1)に記載の光検出装置。
前記投影画像を投影する投影部を更に備える、(1)に記載の光検出装置。
(3)
前記撮像部は撮像光学系を有し、
前記投影部は投影光学系を有し、
前記撮像光学系の光軸と、前記投影光学系の光軸とは平行である、(2)に記載の光検出装置。
前記撮像部は撮像光学系を有し、
前記投影部は投影光学系を有し、
前記撮像光学系の光軸と、前記投影光学系の光軸とは平行である、(2)に記載の光検出装置。
(4)
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行う、(3)に記載の光検出装置。
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行う、(3)に記載の光検出装置。
(5)
前記信号処理部は、前記歪補正部が歪み補正処理をした前記撮像画像データに基づき、前記計測範囲の3次元距離データを生成する距離計測部を、更に有する、(3)に記載の光検出装置。
前記信号処理部は、前記歪補正部が歪み補正処理をした前記撮像画像データに基づき、前記計測範囲の3次元距離データを生成する距離計測部を、更に有する、(3)に記載の光検出装置。
(6)
前記歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、(5)に記載の光検出装置。
前記歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、(5)に記載の光検出装置。
(7)
前記歪補正部は、
エピポーラ線が直線に近づくように、前記撮像画像データを補正する第1歪補正部と、
前記第1歪補正部よりも演算速度が速く、且つ補正精度が抑制された第2歪補正部と、を有し、
所定の条件により、前記第1歪補正部又は前記第2歪補正部の一方を選択して歪補正を行う、(6)に記載の光検出装置。
前記歪補正部は、
エピポーラ線が直線に近づくように、前記撮像画像データを補正する第1歪補正部と、
前記第1歪補正部よりも演算速度が速く、且つ補正精度が抑制された第2歪補正部と、を有し、
所定の条件により、前記第1歪補正部又は前記第2歪補正部の一方を選択して歪補正を行う、(6)に記載の光検出装置。
(8)
前記歪補正部は、
所定の条件により、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する判定部を更に有する、(7)に記載の光検出装置。
前記歪補正部は、
所定の条件により、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する判定部を更に有する、(7)に記載の光検出装置。
(9)
前記判定部は、撮像光学系の撮像倍率に応じて、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する、(8)に記載の光検出装置。
前記判定部は、撮像光学系の撮像倍率に応じて、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する、(8)に記載の光検出装置。
(10)
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行うことが可能であり、
前記第1歪補正部は、前記rの2乗、4乗、及び6乗に基づき、歪補正し、
前記第2歪補正部は、前記rの2乗、及び4乗に基づき、歪補正する、(9)に記載の光検出装置。
前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行うことが可能であり、
前記第1歪補正部は、前記rの2乗、4乗、及び6乗に基づき、歪補正し、
前記第2歪補正部は、前記rの2乗、及び4乗に基づき、歪補正する、(9)に記載の光検出装置。
(11)
前記距離計測部は、歪補正後の前記撮像画像データの一方向に向けて特徴点を抽出する、(10)に記載の光検出装置。
前記距離計測部は、歪補正後の前記撮像画像データの一方向に向けて特徴点を抽出する、(10)に記載の光検出装置。
(12)
前記距離計測部は、三角測量の原理を用いて前記3次元距離データを生成する、(11)に記載の光検出装置。
前記距離計測部は、三角測量の原理を用いて前記3次元距離データを生成する、(11)に記載の光検出装置。
(13)
前記信号処理部は、
前記撮像画像データにおけるエピポーラ線が直線に近づくように、前記撮像画像データを補正する第2歪補正部と、
前記第2歪補正部で歪み補正された前記撮像画像データに基づき前記3次元距離データを生成する距離計測部と、
前記3次元距離データの2次元座標におけるエピポーラ線が更に直線に近づくように、前記2次元座標を補正する第1歪補正部と、
を有する、(11)に記載の光検出装置。
前記信号処理部は、
前記撮像画像データにおけるエピポーラ線が直線に近づくように、前記撮像画像データを補正する第2歪補正部と、
前記第2歪補正部で歪み補正された前記撮像画像データに基づき前記3次元距離データを生成する距離計測部と、
前記3次元距離データの2次元座標におけるエピポーラ線が更に直線に近づくように、前記2次元座標を補正する第1歪補正部と、
を有する、(11)に記載の光検出装置。
(14)
画像データの範囲を制限する関心領域読み出し部を、更に備え、
前記信号処理部は、前記制限された範囲において、前記計測範囲の3次元距離データを生成する、(1)に記載の光検出装置。
画像データの範囲を制限する関心領域読み出し部を、更に備え、
前記信号処理部は、前記制限された範囲において、前記計測範囲の3次元距離データを生成する、(1)に記載の光検出装置。
(15)
前記信号処理部は、前記撮像画像データに基づき前記3次元距離データを生成する距離計測部を、更に有し、
前記歪補正部は、
前記3次元距離データの2次元座標におけるエピポーラ線が直線に近づくように、前記2次元座標を補正する、(1)に記載の光検出装置。
前記信号処理部は、前記撮像画像データに基づき前記3次元距離データを生成する距離計測部を、更に有し、
前記歪補正部は、
前記3次元距離データの2次元座標におけるエピポーラ線が直線に近づくように、前記2次元座標を補正する、(1)に記載の光検出装置。
(16)
前記第1歪補正部と、前記第2歪補正部とは、前記rの2乗、及び4乗の演算を行う処理部を共有する、(10)に記載の光検出装置。
前記第1歪補正部と、前記第2歪補正部とは、前記rの2乗、及び4乗の演算を行う処理部を共有する、(10)に記載の光検出装置。
(17)
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出システム。
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出システム。
(18)
前記投影光学系の光軸と、前記撮像光学系の光軸とは、平行であり、
歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、(17)に記載の光検出システム。
前記投影光学系の光軸と、前記撮像光学系の光軸とは、平行であり、
歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、(17)に記載の光検出システム。
(19)
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、第1撮像光学系を介して撮像する第1撮像装置と、
前記投影パタンが投影された計測範囲を、第2撮像光学系を介して撮像する第2撮像装置と、
を備え、
前記第2撮像装置は、前記第1撮像装置が撮像した第1撮像画像データと、前記第2撮像装置が撮像した第2撮像画像データと、に基づき、前記計測範囲の3次元距離データを生成する信号処理部を備え、
前記信号処理部は、前記第1撮像画像データの2次元座標の歪み、及び前記第2撮像画像データの2次元座標の歪みを補正する歪補正部を有する、光検出システム。
予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、第1撮像光学系を介して撮像する第1撮像装置と、
前記投影パタンが投影された計測範囲を、第2撮像光学系を介して撮像する第2撮像装置と、
を備え、
前記第2撮像装置は、前記第1撮像装置が撮像した第1撮像画像データと、前記第2撮像装置が撮像した第2撮像画像データと、に基づき、前記計測範囲の3次元距離データを生成する信号処理部を備え、
前記信号処理部は、前記第1撮像画像データの2次元座標の歪み、及び前記第2撮像画像データの2次元座標の歪みを補正する歪補正部を有する、光検出システム。
(20)
前記第1撮像光学系の光軸と、前記第2撮像光学系の光軸とは、平行であり、
前記歪補正部は、エピポーラ線が直線に近づくように、前記第1撮像画像データ、及び前記第2撮像画像データを補正する、(19)に記載の光検出システム。
前記第1撮像光学系の光軸と、前記第2撮像光学系の光軸とは、平行であり、
前記歪補正部は、エピポーラ線が直線に近づくように、前記第1撮像画像データ、及び前記第2撮像画像データを補正する、(19)に記載の光検出システム。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1:光検出装置、10:投影部、10a:投影装置、20:撮像部、20a、20b:撮像装置、40:信号処理部、40a:処理装置、101:投影光学系、201:撮像光学系、406:レンズ歪補正部、406c:判定部、406d:第1歪補正部406e:第2歪補正部、408:距離計測部、1000、1000a:光検出システム。
Claims (20)
- 予め定められたパタンを有する投影画像が投影された計測範囲を撮像する撮像部と、
前記撮像部が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する信号処理部と、を備え、
前記信号処理部は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出装置。 - 前記投影画像を投影する投影部を更に備える、請求項1に記載の光検出装置。
- 前記撮像部は撮像光学系を有し、
前記投影部は投影光学系を有し、
前記撮像光学系の光軸と、前記投影光学系の光軸とは平行である、請求項2に記載の光検出装置。 - 前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行う、請求項3に記載の光検出装置。
- 前記信号処理部は、前記歪補正部が歪み補正処理をした前記撮像画像データに基づき、前記計測範囲の3次元距離データを生成する距離計測部を、更に有する、請求項3に記載の光検出装置。
- 前記歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、請求項5に記載の光検出装置。
- 前記歪補正部は、
エピポーラ線が直線に近づくように、前記撮像画像データを補正する第1歪補正部と、
前記第1歪補正部よりも演算速度が速く、且つ補正精度が抑制された第2歪補正部と、を有し、
所定の条件により、前記第1歪補正部又は前記第2歪補正部の一方を選択して歪補正を行う、請求項6に記載の光検出装置。 - 前記歪補正部は、
所定の条件により、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する判定部を更に有する、請求項7に記載の光検出装置。 - 前記判定部は、撮像光学系の撮像倍率に応じて、前記第1歪補正部、及び前記第2歪補正部のいずれを用いるかを判定する、請求項8に記載の光検出装置。
- 前記歪補正部は、前記撮像画像データのx座標の2乗とy座標の2乗とに基づくrの2乗に応じて、歪補正を行うことが可能であり、
前記第1歪補正部は、前記rの2乗、4乗、及び6乗に基づき、歪補正し、
前記第2歪補正部は、前記rの2乗、及び4乗に基づき、歪補正する、請求項9に記載の光検出装置。 - 前記距離計測部は、歪補正後の前記撮像画像データの一方向に向けて特徴点を抽出する、請求項10に記載の光検出装置。
- 前記距離計測部は、三角測量の原理を用いて前記3次元距離データを生成する、請求項11に記載の光検出装置。
- 前記信号処理部は、
前記撮像画像データにおけるエピポーラ線が直線に近づくように、前記撮像画像データを補正する第2歪補正部と、
前記第2歪補正部で歪み補正された前記撮像画像データに基づき前記3次元距離データを生成する距離計測部と、
前記3次元距離データの2次元座標におけるエピポーラ線が更に直線に近づくように、前記2次元座標を補正する第1歪補正部と、
を有する、請求項11に記載の光検出装置。 - 画像データの範囲を制限する関心領域読み出し部を、更に備え、
前記信号処理部は、前記制限された範囲において、前記計測範囲の3次元距離データを生成する、請求項1に記載の光検出装置。 - 前記信号処理部は、前記撮像画像データに基づき前記3次元距離データを生成する距離計測部を、更に有し、
前記歪補正部は、
前記3次元距離データの2次元座標におけるエピポーラ線が直線に近づくように、前記2次元座標を補正する、請求項1に記載の光検出装置。 - 前記第1歪補正部と、前記第2歪補正部とは、前記rの2乗、及び4乗の演算を行う処理部を共有する、請求項10に記載の光検出装置。
- 予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、撮像光学系を介して撮像する撮像装置と、
前記撮像装置が撮像した撮像画像データに基づき、前記計測範囲の3次元距離データを生成する処理装置と、を備え、
前記処理装置は、前記撮像画像データに基づく2次元座標の歪みを補正する歪補正部を有する、光検出システム。 - 前記投影光学系の光軸と、前記撮像光学系の光軸とは、平行であり、
歪補正部は、エピポーラ線が直線に近づくように、前記撮像画像データを補正する、請求項17に記載の光検出システム。 - 予め定められた投影パタンを、投影光学系を介して計測範囲に投影する投影装置と、
前記投影パタンが投影された計測範囲を、第1撮像光学系を介して撮像する第1撮像装置と、
前記投影パタンが投影された計測範囲を、第2撮像光学系を介して撮像する第2撮像装置と、
を備え、
前記第2撮像装置は、前記第1撮像装置が撮像した第1撮像画像データと、前記第2撮像装置が撮像した第2撮像画像データと、に基づき、前記計測範囲の3次元距離データを生成する信号処理部を備え、
前記信号処理部は、前記第1撮像画像データの2次元座標の歪み、及び前記第2撮像画像データの2次元座標の歪みを補正する歪補正部を有する、光検出システム。 - 前記第1撮像光学系の光軸と、前記第2撮像光学系の光軸とは、平行であり、
前記歪補正部は、エピポーラ線が直線に近づくように、前記第1撮像画像データ、及び前記第2撮像画像データを補正する、請求項19に記載の光検出システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022133603 | 2022-08-24 | ||
JP2022-133603 | 2022-08-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024042995A1 true WO2024042995A1 (ja) | 2024-02-29 |
Family
ID=90013000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/027591 WO2024042995A1 (ja) | 2022-08-24 | 2023-07-27 | 光検出装置、および光検出システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024042995A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225119A (ja) * | 2008-03-17 | 2009-10-01 | Ricoh Co Ltd | 画像撮像装置 |
JP2010218226A (ja) * | 2009-03-17 | 2010-09-30 | Suzuki Motor Corp | 計測マップ生成装置及び走行環境確認装置 |
JP2015032069A (ja) * | 2013-07-31 | 2015-02-16 | Toa株式会社 | 監視装置及び監視装置の制御プログラム |
JP2016170163A (ja) * | 2015-03-11 | 2016-09-23 | 株式会社リコー | 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム |
US20190052821A1 (en) * | 2016-03-14 | 2019-02-14 | Insightness Ag | A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly |
JP2021131377A (ja) * | 2020-02-18 | 2021-09-09 | キヤノン株式会社 | 生成装置、生成方法およびプログラム |
JP2021174089A (ja) * | 2020-04-21 | 2021-11-01 | 株式会社リコー | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
-
2023
- 2023-07-27 WO PCT/JP2023/027591 patent/WO2024042995A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225119A (ja) * | 2008-03-17 | 2009-10-01 | Ricoh Co Ltd | 画像撮像装置 |
JP2010218226A (ja) * | 2009-03-17 | 2010-09-30 | Suzuki Motor Corp | 計測マップ生成装置及び走行環境確認装置 |
JP2015032069A (ja) * | 2013-07-31 | 2015-02-16 | Toa株式会社 | 監視装置及び監視装置の制御プログラム |
JP2016170163A (ja) * | 2015-03-11 | 2016-09-23 | 株式会社リコー | 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム |
US20190052821A1 (en) * | 2016-03-14 | 2019-02-14 | Insightness Ag | A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly |
JP2021131377A (ja) * | 2020-02-18 | 2021-09-09 | キヤノン株式会社 | 生成装置、生成方法およびプログラム |
JP2021174089A (ja) * | 2020-04-21 | 2021-11-01 | 株式会社リコー | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11985293B2 (en) | System and methods for calibration of an array camera | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
US20080205748A1 (en) | Structural light based depth imaging method and system using signal separation coding, and error correction thereof | |
JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
JP2013113600A (ja) | ステレオ3次元計測装置 | |
WO2022126870A1 (en) | Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line | |
JP6055228B2 (ja) | 形状計測装置 | |
CN113256729A (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
CN115456945A (zh) | 一种芯片引脚缺陷的检测方法、检测装置及设备 | |
CN108632604B (zh) | 镜头光心的检测方法及装置 | |
CN111829439B (zh) | 一种高精度平移测量方法及装置 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
CN109190452A (zh) | 作物行识别方法及装置 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
WO2024042995A1 (ja) | 光検出装置、および光検出システム | |
CN116958218A (zh) | 一种基于标定板角点对齐的点云与图像配准方法及设备 | |
CN116051634A (zh) | 一种视觉定位方法、终端及存储介质 | |
CN115830131A (zh) | 一种固定相位偏差的确定方法、装置和设备 | |
WO2024062809A1 (ja) | 光検出装置、および光検出システム | |
WO2020031980A1 (ja) | レンズマーカ画像の補正方法、補正装置、プログラム、および記録媒体 | |
JP2022024676A (ja) | 測距装置 | |
CN111598940A (zh) | 一种半球摄影中心点位置定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23857111 Country of ref document: EP Kind code of ref document: A1 |