WO2024157611A1 - 距離測定装置 - Google Patents

距離測定装置 Download PDF

Info

Publication number
WO2024157611A1
WO2024157611A1 PCT/JP2023/043421 JP2023043421W WO2024157611A1 WO 2024157611 A1 WO2024157611 A1 WO 2024157611A1 JP 2023043421 W JP2023043421 W JP 2023043421W WO 2024157611 A1 WO2024157611 A1 WO 2024157611A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
imaging unit
unit
imaging
Prior art date
Application number
PCT/JP2023/043421
Other languages
English (en)
French (fr)
Inventor
翔太 山田
信三 香山
雅春 深草
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024157611A1 publication Critical patent/WO2024157611A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • This disclosure relates to a distance measuring device.
  • the distance measurement device that processes images captured by a stereo camera to measure the distance to an object.
  • parallax is detected from the images captured by each camera.
  • a pixel block that is most highly correlated with a target pixel block in one image (base image) is searched for in the other image (reference image).
  • the search range is set in the direction of the camera's separation, with the same position as the target pixel block as the base position.
  • the pixel shift amount of the pixel block extracted by the search, relative to the base position, is detected as parallax.
  • the distance to the object is calculated from this parallax using triangulation.
  • the Scheimpflug condition is satisfied along at least one of the sensor area and the lens beam path.
  • the optical system is arranged to satisfy the Scheimpflug condition, making it possible to simultaneously focus on an object located at a close distance and an object located at a far distance.
  • Patent Document 1 does not describe a configuration for increasing resolution.
  • a distance measuring device includes a light-projecting unit that projects light including a plurality of different wavelength bands, a first imaging unit and a second imaging unit that are arranged so that their fields of view overlap, and a lens that images an object on the sensor surface of the first imaging unit.
  • the light-projecting unit projects pattern light in which the object is present and in which light of the plurality of wavelength bands is distributed in a predetermined pattern in a range in which the fields of view of the first imaging unit and the second imaging unit overlap.
  • the sensor surface of the first imaging unit and the main surface of the lens are arranged so as not to be parallel to each other.
  • FIG. 1 is a diagram showing the basic configuration of a distance measuring device according to the first embodiment.
  • FIG. 2 is a diagram showing the configuration of the distance measuring device according to the first embodiment.
  • FIG. 3 is a diagram showing a schematic configuration of the distance measuring device according to the first embodiment.
  • FIG. 4 is a diagram illustrating a method of setting pixel blocks for the first image according to the first embodiment.
  • FIG. 5 is a diagram showing the configuration of a filter according to the first embodiment.
  • FIG. 6 is a diagram showing a first image and a second image according to the first embodiment.
  • FIG. 7 is a diagram for explaining the wavelength band output by the light source according to the first embodiment.
  • FIG. 8 is a flowchart for explaining the calibration process according to the first embodiment.
  • FIG. 9 is a diagram for explaining a method of searching for a target pixel block according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of pattern light according to the second embodiment.
  • FIG. 1 is a diagram showing the basic configuration of a distance measuring device 1 according to the first embodiment.
  • the distance measurement device 1 includes a first imaging unit 10, a second imaging unit 20, and a light projecting unit 30.
  • the first imaging unit 10 images a range of a field of view 10a facing the positive direction of the Z axis.
  • the second imaging unit 20 images a range of a field of view 20a facing the positive direction of the Z axis.
  • the first imaging unit 10 and the second imaging unit 20 are arranged side by side at a predetermined distance (baseline length) in the X-axis direction so that their fields of view 10a, 20a overlap.
  • the imaging direction of the first imaging unit 10 may be slightly tilted from the positive direction of the Z axis toward the second imaging unit 20, and the imaging direction of the second imaging unit 20 may be slightly tilted from the positive direction of the Z axis toward the first imaging unit 10.
  • the positions in the Z-axis direction and the Y-axis direction of the first imaging unit 10 and the second imaging unit 20 are the same.
  • the light projecting unit 30 projects pattern light 30a, in which light is distributed in a predetermined pattern, onto the range 130 where the visual fields 10a and 20a overlap.
  • the direction in which the light projecting unit 30 projects the pattern light 30a is the positive direction of the Z axis.
  • the pattern light 30a is projected onto the surface A1s of the object A1 that exists within the range where the visual fields 10a and 20a overlap.
  • the distance measuring device 1 measures the distance D0 to the object A1 by stereo corresponding point search using the images captured by the first imaging unit 10 and the second imaging unit 20, respectively.
  • pattern light 30a is projected from the light projecting unit 30 onto the surface A1s of the object A1.
  • the pattern of the pattern light 30a is projected onto the images captured by the first imaging unit 10 and the second imaging unit 20. Therefore, even if the surface A1s of the object A1 is plain, stereo corresponding point search can be performed with high accuracy, and the distance D0 to the surface A1s of the object A1 can be accurately measured.
  • FIG. 2 is a diagram showing the configuration of the distance measuring device 1 according to the first embodiment.
  • the first imaging unit 10 includes an imaging lens 11 and an imaging element 12.
  • the imaging lens 11 has a focal length, and focuses light from the field of view 10a onto the imaging surface 12a (sensor surface) of the imaging element 12.
  • the imaging lens 11 does not have to be a single lens, and may be configured by combining multiple lenses.
  • the imaging element 12 is a monochrome image sensor.
  • the imaging element 12 is, for example, a CMOS image sensor. Note that the imaging element 12 may also be a CCD.
  • the second imaging unit 20 has a configuration similar to that of the first imaging unit 10.
  • the second imaging unit 20 includes an imaging lens 21 and an imaging element 22.
  • the imaging lens 21 has a focal length equivalent to that of the imaging lens 11, and focuses light from the field of view 20a onto the imaging surface 22a (sensor surface) of the imaging element 22.
  • the imaging lens 21 does not have to be a single lens, and may be configured by combining multiple lenses.
  • the imaging element 22 is a monochrome image sensor. Note that the imaging element 22 is, for example, a CMOS image sensor.
  • the imaging element 22 may also be a CCD.
  • the light projection unit 30 includes light sources 31 to 33, an optical system 34, a filter 35, and a projection lens 36.
  • Light sources 31 to 33 emit light in different wavelength bands. For example, light source 31 emits light in a wavelength band near red, light source 32 emits light in a wavelength band near green, and light source 33 emits light in a wavelength band near blue. Light sources 31 to 33 are, for example, light-emitting diodes. Note that light sources 31 to 33 may also be other types of light sources, such as semiconductor lasers.
  • the optical system 34 includes collimator lenses 341-343 and dichroic mirrors 344 and 345.
  • the collimator lenses 341-343 convert the light emitted from the light sources 31-33 into approximately parallel light, respectively.
  • the dichroic mirror 344 transmits the light incident from the collimator lens 341 and reflects the light incident from the collimator lens 342.
  • the dichroic mirror 345 transmits the light incident from the dichroic mirror 344 and reflects the light incident from the collimator lens 343. In this way, the light emitted from the light sources 31-33 is combined and guided to the filter 35.
  • the filter 35 generates pattern light 30a from the light of each wavelength band guided from the optical system 34, in which multiple types of light regions with different wavelength bands are distributed in a predetermined pattern.
  • the projection lens 36 projects the pattern light 30a generated by the filter 35.
  • the projection lens 36 does not have to be a single lens, and may be configured by combining multiple lenses.
  • the distance measurement device 1 includes, as its circuit configuration, a first image capture processing unit 41, a second image capture processing unit 42, a light source driving unit 43, a brightness adjustment unit 44, a measurement unit 45, a control unit 46, and a communication interface 47.
  • the first imaging processing unit 41 and the second imaging processing unit 42 control the imaging elements 12 and 22, and perform processes such as brightness correction and camera calibration on the pixel signals of the first image and the second image output from the imaging elements 12 and 22, respectively.
  • the light source driving unit 43 drives each of the light sources 31 to 33 with the driving current value set by the brightness adjustment unit 44.
  • the brightness adjustment unit 44 sets the drive current values of the light sources 31 to 33 in the light source drive unit 43 based on the pixel signals (brightness) of the second image input from the second imaging processing unit 42. Specifically, the brightness adjustment unit 44 sets the drive current values (light emission amount) of the light sources 31 to 33 so that the maximum brightness based on the light from the light sources 31 to 33 acquired based on the pixel signals from the second imaging unit 20 does not become saturated.
  • the measurement unit 45 performs a stereo correspondence search by comparing the first image and the second image input from the first imaging processing unit 41 and the second imaging processing unit 42, respectively, and obtains the distance to the surface A1s of the object A1 for each pixel block on the first image.
  • the measurement unit 45 transmits the obtained distance information for all pixel blocks to an external device via the communication interface 47.
  • the measurement unit 45 sets a pixel block for which distance is to be obtained (hereinafter referred to as the "target pixel block”) on the first image, and searches for a pixel block corresponding to this target pixel block, i.e., a pixel block that is most suitable for the target pixel block (hereinafter referred to as the "suitable pixel block”), within a search range defined on the second image.
  • the target pixel block a pixel block for which distance is to be obtained
  • the measurement unit 45 obtains the amount of pixel shift between a pixel block (hereinafter referred to as the "reference pixel block") that is in the same position as the target pixel block on the second image and the suitable pixel block extracted from the second image by the above search, and calculates the distance to the surface A1s of the object A1 at the position of the target pixel block from the obtained pixel shift amount.
  • the reference pixel block a pixel block that is in the same position as the target pixel block on the second image and the suitable pixel block extracted from the second image by the above search
  • the measurement unit 45 and the communication interface 47 may be configured with a semiconductor integrated circuit consisting of an FPGA (Field Programmable Gate Array). Furthermore, each of these units may be configured with other semiconductor integrated circuits such as a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit) and an ASIC (Application Specific Integrated Circuit).
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • the control unit 46 is configured with a microcomputer or the like, and controls each part according to a specific program stored in the built-in memory.
  • FIG. 3 is a diagram showing a schematic configuration of the distance measuring device according to the first embodiment.
  • FIG. 3 illustrates the arrangement of the first imaging unit 10, the second imaging unit 20, and the object A1.
  • the main surface 11s of the imaging lens 11, the imaging surface 12a of the imaging element 12, and the surface A1s of the object A1 are arranged so that their extension lines intersect at one point.
  • the main surface 21s of the imaging lens 21, the imaging surface 22a of the imaging element 22, and the surface A1s of the object A1 are arranged so that their extension lines intersect at one point.
  • the imaging surface 12a (sensor surface) of the first imaging unit and the main surface 11s of the imaging lens 11 are arranged so as not to be parallel to each other
  • the imaging surface 22a (sensor surface) of the second imaging unit 20 and the main surface 21s of the imaging lens 21 are arranged so as not to be parallel to each other.
  • the first imaging unit 10 and the second imaging unit 20 are arranged so as to satisfy the Scheimpflug condition with respect to the surface A1s of the object A1. With this arrangement, the first imaging unit 10 and the second imaging unit 20 can both focus on objects that are far from the imaging unit and objects that are close to the imaging unit. Note that in FIG. 3, the angle between the principal surface 11s of the imaging lens 11 and the imaging surface 12a of the imaging element 12, and the angle between the principal surface 21s of the imaging lens 21 and the imaging surface 22a of the imaging element 22 are both the same angle ⁇ '.
  • FIG. 4 is a diagram showing a schematic diagram of a method for setting pixel blocks for the first image. Specifically, FIG. 4(a) shows a method for setting pixel blocks 102 for the entire first image 100, and FIG. 4(b) shows an enlarged view of a partial area of the first image 100. Note that FIG. 4 shows the first image 100 after a calibration process described below.
  • the first image 100 is divided into a number of pixel blocks 102, each including a predetermined number of pixel regions 101.
  • the pixel region 101 is an area that corresponds to one pixel on the imaging element 12. In other words, the pixel region 101 is the smallest unit of the first image 100.
  • one pixel block 102 is made up of nine pixel regions 101 arranged in three rows and three columns. However, the number of pixel regions 101 included in one pixel block 102 is not limited to this.
  • FIG. 5 is a diagram showing the configuration of a filter according to the first embodiment. Specifically, FIG. 5(a) is a diagram showing a schematic configuration of filter 35. FIG. 5(b) is a diagram showing an enlarged view of a portion of FIG. 5(a). FIGS. 5(a) and (b) show filter 35 as viewed from the light incident surface 35a side.
  • filter 35 has multiple types of filter regions 351-354 formed in a predetermined pattern.
  • the types of filter regions 351-354 are indicated by different types of hatching.
  • Filter regions 351-354 selectively transmit light of different wavelength bands and form light regions of different hues.
  • filter region 351 forms a light region corresponding to the hue "red”
  • filter region 352 forms a light region corresponding to the hue "orange”
  • filter region 353 forms a light region corresponding to the hue "green”
  • filter region 354 forms a light region corresponding to the hue "blue.”
  • the characteristics of light sources 31-33 and filter regions 351-354 will be described later.
  • each filter region 351-354 is set to a size that corresponds approximately to one pixel block on the image sensor 12, 22.
  • the region B1 shown by the dashed line in FIG. 5B corresponds to the region of a pixel block (pixel block 102, 202 used in the above-mentioned stereo correspondence point search) consisting of three pixels vertically and three pixels horizontally on the image sensor 12, 22. That is, when the distance D0 to the surface A1s of the object A1 is a reference distance (for example, the intermediate distance of the ranging range), the light of this region B1 is projected onto the region of a pixel block consisting of three pixels vertically and three pixels horizontally on the image sensor 12, 22.
  • each filter region 351-354 is not necessarily limited to a size corresponding to one pixel.
  • the size of each filter region 351-354 may be larger or smaller than the size corresponding to one pixel block.
  • each of the filter regions 351 to 354 is rectangular and has the same size, but each of the filter regions 351 to 354 may have a different size, or may have another shape, such as a square or a circle.
  • the filter regions 351 to 354 are arranged so that different types of filter regions are included in the region B1 corresponding to all pixel blocks used in the stereo correspondence search, and it is even more preferable that the filter regions 351 to 354 are arranged so that all types of filter regions are included in each of these regions B1. Furthermore, it is preferable that the arrangement pattern of the filter regions included in the region B1 corresponding to the pixel blocks is unique (random) for each pixel block at each search position, at least in the search range R0 (see FIG. 3) in the stereo correspondence search.
  • filter regions 351-354 are arranged in this manner, as described below, the luminance of the light that passes through filter regions 351-354 can be made different from one another, so that the luminance distribution of light within each pixel block can be made unique for each pixel block. This can improve the accuracy of the stereo correspondence point search, and as a result, the accuracy of distance measurement can be improved.
  • FIG. 6(a) is a diagram showing a first image 100 according to the first embodiment
  • FIG. 6(b) is a diagram showing a second image 200 according to the first embodiment. Note that FIGS. 6(a) and 6(b) are the first image 100 and the second image 200 before the calibration process described below.
  • the width of the dot light in the left-right direction of the first image 100 narrows from the right side of the drawing to the left side of the drawing.
  • the width of the dot light in the left-right direction of the second image 200 narrows from the left side of the drawing to the right side of the drawing.
  • the width of the dot light in the left-right direction of the first region T1 on the left side of the drawing is wider, and the width of the dot light in the right-right direction of the second region T2 on the right side of the drawing is narrower.
  • the width of the dot light in the left-right direction of the third region T3 on the left side of the drawing is narrower, and the width of the dot light in the right-right direction of the fourth region T4 on the right side of the drawing is wider.
  • the first imaging unit 10 and the second imaging unit 20 are arranged to satisfy the Scheimpflug condition with respect to the object A1, so that the width of the dot light on the side closer to the imaging unit becomes wider, and the width of the dot light on the side farther from the imaging unit becomes narrower. Therefore, in the first image 100 and the second image 200, the resolution on the side farther from the imaging unit decreases.
  • the first embodiment by performing the calibration process described below, it is possible to suppress a decrease in resolution even when the optical system is arranged to satisfy the Scheimpflug condition.
  • FIG. 7 is a diagram for explaining the wavelength band output by the light source according to the first embodiment.
  • FIG. 7(a) is a graph showing the spectral output of light sources 31 to 33.
  • the spectral output of light sources 31 to 33 is shown by a solid line (E11), a dotted line (E12), and a dashed line (E13), respectively.
  • the vertical axis of the graph is normalized by the maximum output of light source 31.
  • Light source 31 emits light with a central wavelength of about 610 nm and an emission bandwidth of about 80 nm.
  • Light source 32 emits light with a central wavelength of about 520 nm and an emission bandwidth of about 150 nm.
  • Light source 33 emits light with a central wavelength of about 470 nm and an emission bandwidth of about 100 nm.
  • FIG. 7(b) is a graph showing the spectral transmittance of filter regions 351 to 354.
  • the spectral transmittance of filter regions 351 to 354 is shown by a solid line (E21), a dashed line (E22), a dotted line (E23), and a dashed line (E24), respectively.
  • the vertical axis of the graph is normalized by the maximum transmittance of filter region 351.
  • the filter region 351 has a transmittance that increases with an increase in wavelength from around 570 nm, and maintains a maximum transmittance at around 650 nm or more.
  • the filter region 351 mainly transmits light from the light source 31, forming a light region (dot light) with a hue of "red”.
  • the filter region 352 has a maximum transmittance of around 560 nm and a spectral characteristic with a transmission wavelength width of about 160 nm, mainly transmits light from the light source 31 and light from the light source 32, forming a light region (dot light) with a hue of "orange”.
  • the filter region 353 has a maximum transmittance of around 520 nm and a spectral characteristic with a transmission bandwidth of about 150 nm, mainly transmits light from the light source 32, forming a light region (dot light) with a hue of "green”.
  • the filter region 354 has a maximum transmittance of around 460 nm and a spectral characteristic with a transmission bandwidth of about 150 nm, mainly transmits light from the light source 33, forming a light region (dot light) with a hue of "blue”.
  • filters with four types of spectral transmittance it is possible to form light regions (dot lights) of even more different hues by adding filters with spectral transmittances that transmit multiple wavelength ranges from the wavelength ranges of light sources 31 to 33.
  • the measurement unit 45 calculates the distance index value based on the first image 100 and the second image 200.
  • FIG. 8 is a flowchart for explaining the calibration process according to the first embodiment.
  • the measurement unit 45 reads the first image 100 captured by the first imaging unit 10 and the second image 200 captured by the second imaging unit (step S1). Specifically, the measurement unit 45 reads the first image 100 and the second image 200 in Figs. 6(a) and (b).
  • the measurement unit 45 When the measurement unit 45 finishes reading the first image 100 and the second image 200 (Yes in step S2), it generates calibration data (step S3). Specifically, the measurement unit 45 replaces the image in the third region T3 of the second image 200 with the image in the first region T1 of the first image 100, thereby interpolating the third region T3, which is a part of the second image 200, with the first region T1, which is a part of the first image 100. Similarly, the measurement unit 45 replaces the image in the second region T2 of the first image 100 with the image in the fourth region T4 of the second image 200, thereby interpolating the second region T2, which is a part of the first image 100, with the fourth region T4, which is a part of the second image 200.
  • the measurement unit 45 replaces the second region T2, which is a low-resolution region in the first image 100, with the fourth region T4, which is a high-resolution region in the second image 200.
  • the measurement unit 45 replaces the third region T3, which is a low-resolution region, in the second image 200 with the first region T1, which is a high-resolution region in the first image 100.
  • the measurement unit 45 normalizes the first image 100 and the second image 200. Specifically, a process is performed to make the left and right widths of the images of the dot light in the first image 100 and the second image 200 the same.
  • the first image 100 and the second image 200 in FIG. 6(a) and (b) are converted into the first image 100 and the second image 200 in FIG. 5(a) and (b), respectively.
  • the measurement unit 45 stores the first image 100 and the second image 200 generated in step S3 as calibration data (step S4).
  • the measurement unit 45 reads out the first image 100 and the second image 200 stored as calibration data, and executes the method for searching for the target pixel block described below. Before executing the method for searching for the target pixel block, the first image 100 and the second image 200 are corrected to align the standards. Specifically, the first image 100 and the second image are corrected so that the left-right width of each dot light is uniform.
  • FIG. 9 is a diagram for explaining a method for searching for a target pixel block according to the first embodiment.
  • FIG. 9(a) is a diagram that shows a schematic diagram of a state in which a target pixel block TB1 is set on a first image 100
  • FIG. 9(b) is a diagram that shows a schematic diagram of a search range R0 that is set on a second image 200 to search for the target pixel block of FIG. 9(a).
  • the second image 200 acquired from the second imaging unit 20 is divided into a number of pixel blocks 202, similar to the first image 100.
  • the pixel blocks 202 include the same number of pixel regions as the pixel blocks 102 described above.
  • the target pixel block TB1 is the pixel block 102 to be processed among the pixel blocks 102 in the first image 100.
  • the reference pixel block TB2 is the pixel block 202 in the second image 200 that corresponds to the target pixel block TB1.
  • the measurement unit 45 identifies a reference pixel block TB2 that corresponds to the target pixel block TB1 on the second image 200. The measurement unit 45 then sets the position of the identified reference pixel block TB2 as a reference position P0 of the search range R0, and sets the range extending from this reference position P0 in the direction in which the first imaging unit 10 and the second imaging unit 20 are separated as the search range R0.
  • the direction in which the search range R0 extends is set in the direction in which the pixel block (matching pixel block MB2) corresponding to the target pixel block TB1 in the second image 200 is displaced from the reference position P0 due to parallax.
  • the search range R0 is set to the range of 11 pixel blocks 202 aligned to the right of the reference position P0 (the direction corresponding to the X-axis direction in Figure 1).
  • the number of pixel blocks 202 included in the search range R0 is not limited to this.
  • the measurement unit 45 searches for a pixel block (matching pixel block MB2) that corresponds to the target pixel block TB1 within the set search range R0. Specifically, the measurement unit 45 calculates a correlation value between the target pixel block TB1 and each search position while shifting the search position one pixel at a time to the right from the reference pixel block TB2. For example, the Sum of Squared Difference (SSD) or Sum of Absolute Difference (SAD) is used as the correlation value. The measurement unit 45 then identifies the pixel block at the search position with the highest correlation within the search range R0 as the matching pixel block MB2.
  • SSD Sum of Squared Difference
  • SAD Sum of Absolute Difference
  • the measurement unit 45 acquires the pixel shift amount of the matching pixel block MB2 relative to the reference pixel block TB2.
  • the measurement unit 45 then calculates the distance to the surface A1s of the object A1 using triangulation from the acquired pixel shift amount and the separation distance between the first imaging unit 10 and the second imaging unit 20.
  • the measurement unit 45 performs the same process for all pixel blocks 102 (target pixel blocks TB1) on the first image 100. After acquiring the distances for all pixel blocks 102 in this way, the measurement unit 45 transmits this distance information to an external device via the communication interface 47.
  • the distance measurement device 1 may be used, for example, in a fixed position, or may be installed, for example, on the end effector (gripping part, etc.) of a robot arm performing work operations in a factory.
  • the control unit 46 of the distance measurement device 1 receives an instruction to obtain the distance from the robot controller via the communication interface 47 during the work process of the robot arm.
  • the control unit 46 causes the measurement unit 45 to measure the distance between the position of the end effector and the surface A1s of the object A1 to be worked on, and transmits the measurement result to the robot controller via the communication interface 47.
  • the robot controller feedback controls the operation of the end effector based on the received distance information. In this way, when the distance measurement device 1 is installed on an end effector, it is desirable that the distance measurement device 1 is small and lightweight.
  • the low-resolution regions in the first image and the second image are replaced with high-resolution regions to increase the resolution of the distance measurement device.
  • the light projecting unit 30 irradiates the distance measurement device with pattern light 30a that takes into account the first image 100 and the second image 200 captured by the first imaging unit 10 and the second imaging unit 20, to increase the resolution of the distance measurement device.
  • FIG. 10 is a diagram showing an example of pattern light according to the second embodiment. Specifically, FIG. 10(a) shows pattern light 30a projected when the first imaging unit 10 captures the first image 100, and FIG. 10(b) shows pattern light 30a projected when the second imaging unit 20 captures the second image 200.
  • the width of the pattern light 30a in the left-right direction narrows from the left side of the drawing to the right side of the drawing.
  • the width of the pattern light 30a in the left-right direction narrows from the right side of the drawing to the left side of the drawing.
  • the first imaging unit 10 and the second imaging unit 20 are arranged to satisfy the Scheimpflug condition with respect to the object A1, so that the width of the dot light closer to the imaging unit becomes wider and the width of the dot light farther from the imaging unit becomes narrower. For this reason, the pattern light is projected so as to narrow the width of the dot light closer to the imaging unit and to widen the width of the dot light farther from the imaging unit.
  • the first imaging unit 10 acquires the first image when the pattern light shown in FIG. 10(a) is projected without projecting the pattern light shown in FIG. 10(b).
  • the second imaging unit 20 acquires the second image when the pattern light shown in FIG. 10(a) is projected without projecting the pattern light shown in FIG. 10(a).
  • the pattern light shown in FIG. 10(a) is generated based on the inclination of the surface A1s of the object A1 relative to the imaging surface 12a (sensor surface) of the first imaging unit 10
  • the pattern light shown in FIG. 10(b) is generated based on the inclination of the surface A1s of the object A1 relative to the imaging surface 22a (sensor surface) of the second imaging unit 20.
  • step S3 in FIG. 8 when generating the calibration data in step S3 in FIG. 8, the process of replacing parts of the first image 100 and the second image 200 with each other is not performed, and only the process of standardizing the first image 100 and the second image 200 is performed.
  • a movable section may be provided to change the orientation of the imaging lenses 11 and 21. This allows the orientation of the imaging lens 11 to be changed according to the orientation of the surface A1s of the object A1, and the first imaging section 10, the second imaging section, and the object A1 to be positioned so as to satisfy the Scheimpflug condition for the surface A1s of the object A1 in any orientation.
  • the light-projecting unit 30 includes three light sources 31 to 33 that emit light in different wavelength bands, but may include one or more light sources.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距離測定装置は、互いに異なる複数種類の波長帯を含む光を投光する投光部と、互いに視野が重なるように配置された第１撮像部および第２撮像部と、物体を第１撮像部のセンサ面に結像するためのレンズとを備える。投光部は、物体が存在するように構成されてかつ第１撮像部と第２撮像部の視野が重なる範囲に所定パターンで複数種類の波長帯の光が分布するパターン光を投光する。第１撮像部のセンサ面と、レンズの主面とは、互いに平行とならないように配置されている。

Description

距離測定装置
　本開示は、距離測定装置に関する。
　従来、ステレオカメラにより取得された画像を処理して物体までの距離を測定する距離測定装置が知られている。この装置では、各カメラにより撮像された画像から視差が検出される。一方の画像（基準画像）上の対象画素ブロックに最も相関が高い画素ブロックが、他方の画像（参照画像）上において探索される。探索範囲は、対象画素ブロックと同じ位置を基準位置として、カメラの離間方向に設定される。探索により抽出された画素ブロックの基準位置に対する画素ずれ量が、視差として検出される。この視差から、三角計測法により、物体までの距離が算出される。
　特許文献１のステレオカメラシステム（距離測定装置）は、センサ領域およびレンズのビーム経路の少なくとも１つに沿って、シャインプルーフの条件が満たされている。
特表２０２２－５３６８８７号公報
　特許文献１では、光学系がシャインプルーフの条件を満たすように配置されているため、近距離に配置された物体と遠距離に配置された物体とに同時に焦点を合わせることが可能である。
　しかしながら、特許文献１には、解像度を高める構成について記載されていない。
　本開示の一実施形態に係る距離測定装置は、互いに異なる複数種類の波長帯を含む光を投光する投光部と、互いに視野が重なるように配置された第１撮像部および第２撮像部と、物体を前記第１撮像部のセンサ面に結像するためのレンズとを備える。前記投光部は、前記物体が存在するように構成されてかつ前記第１撮像部と前記第２撮像部の前記視野が重なる範囲に所定パターンで前記複数種類の波長帯の光が分布するパターン光を投光する。前記第１撮像部の前記センサ面と、前記レンズの主面とは、互いに平行とならないように配置されている。
　本開示によると、距離測定装置の解像度を高めることができる。
図１は、第１実施形態に係る距離測定装置の基本構成を示す図である。 図２は、第１実施形態に係る距離測定装置の構成を示す図である。 図３は、第１実施形態に係る距離測定装置の概略構成を示す図である。 図４は、第１実施形態に係る第１画像に対する画素ブロックの設定方法を模式的に示す図である。 図５は、第１実施形態に係るフィルタの構成を示す図である。 図６は、第１実施形態に係る第１画像および第２画像を示す図である。 図７は、第１実施形態に係る光源の出力する波長帯域を説明するための図である。 図８は、第１実施形態に係るキャリブレーション処理を説明するためのフローチャートである。 図９は、第１実施形態に係る対象画素ブロックの探索方法を説明するための図である。 図１０は、第２実施形態に係るパターン光の一例を示す図である。
　以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
　（第１実施形態）
　図１は第１実施形態に係る距離測定装置１の基本構成を示す図である。
　図１に示すように、距離測定装置１は、第１撮像部１０と、第２撮像部２０と、投光部３０とを備える。
　第１撮像部１０は、Ｚ軸正方向に向けられた視野１０ａの範囲を撮像する。第２撮像部２０は、Ｚ軸正方向に向けられた視野２０ａの範囲を撮像する。第１撮像部１０と第２撮像部２０とは、互いに視野１０ａ，２０ａが重なるように、Ｘ軸方向に所定の距離（基線長）だけ離間して並んで配置される。第１撮像部１０の撮像方向が、Ｚ軸正方向から第２撮像部２０の方向にやや傾いていてもよく、第２撮像部２０の撮像方向が、Ｚ軸正方向から第１撮像部１０の方向にやや傾いていてもよい。第１撮像部１０および第２撮像部２０のＺ軸方向の位置およびＹ軸方向の位置は、互いに同じである。
　投光部３０は、視野１０ａと視野２０ａとが重なる範囲１３０に、所定パターンで光が分布するパターン光３０ａを投射する。投光部３０によるパターン光３０ａの投射方向は、Ｚ軸正方向である。パターン光３０ａは、視野１０ａ，２０ａが重なる範囲に存在する物体Ａ１の表面Ａ１ｓに投射される。
　距離測定装置１は、第１撮像部１０および第２撮像部２０でそれぞれ撮像された撮像画像を用いたステレオ対応点探索により、物体Ａ１までの距離Ｄ０を測定する。このとき、物体Ａ１の表面Ａ１ｓには、投光部３０からパターン光３０ａが投射される。これにより、第１撮像部１０および第２撮像部２０の撮像画像には、パターン光３０ａのパターンが投影される。このため、物体Ａ１の表面Ａ１ｓが無地である場合も、ステレオ対応点探索を精度良く行うことができ、物体Ａ１の表面Ａ１ｓまでの距離Ｄ０を正確に測定できる。
　図２は第１実施形態に係る距離測定装置１の構成を示す図である。
　第１撮像部１０は、撮像レンズ１１と、撮像素子１２とを備える。撮像レンズ１１は、焦点距離を有し、視野１０ａからの光を撮像素子１２の撮像面１２ａ（センサ面）に集光する。撮像レンズ１１は、単一のレンズでなくてもよく、複数のレンズが組み合わされて構成されてよい。撮像素子１２は、モノクロの画像センサである。撮像素子１２は、例えば、ＣＭＯＳイメージセンサである。なお、撮像素子１２がＣＣＤであってもよい。
　第２撮像部２０は、第１撮像部１０と同様の構成を有する。具体的には、第２撮像部２０は、撮像レンズ２１と、撮像素子２２とを備える。撮像レンズ２１は、撮像レンズ１１と同等の焦点距離を有し、視野２０ａからの光を撮像素子２２の撮像面２２ａ（センサ面）に集光する。撮像レンズ２１は、単一のレンズでなくてもよく、複数のレンズが組み合わされて構成されてよい。撮像素子２２は、モノクロの画像センサである。なお、撮像素子２２は、例えば、ＣＭＯＳイメージセンサである。撮像素子２２がＣＣＤであってもよい。
　投光部３０は、光源３１～３３と、光学系３４と、フィルタ３５と、投射レンズ３６とを備える。
　光源３１～３３は、互いに異なる波長帯域の光を出射する。例えば、光源３１は赤付近の波長帯域の光を出射し、光源３２は緑付近の波長帯域の光を出射し、光源３３は青付近の波長帯域の光を出射する。光源３１～３３は、例えば、発光ダイオードである。なお、光源３１～３３は、半導体レーザ等の他の種類の光源であってもよい。
　光学系３４は、コリメータレンズ３４１～３４３と、ダイクロイックミラー３４４、３４５とを備える。コリメータレンズ３４１～３４３は、光源３１～３３から出射された光を、それぞれ略平行光に変換する。ダイクロイックミラー３４４は、コリメータレンズ３４１から入射する光を透過させ、コリメータレンズ３４２から入射する光を反射させる。ダイクロイックミラー３４５は、ダイクロイックミラー３４４から入射する光を透過させ、コリメータレンズ３４３から入射する光を反射させる。このようにして、光源３１～３３からそれぞれ出射された光が統合されて、フィルタ３５に導かれる。
　フィルタ３５は、光学系３４から導かれた各波長帯域の光から、互いに波長帯が異なる複数種類の光領域が所定パターンで分布するパターン光３０ａを生成する。
　投射レンズ３６は、フィルタ３５によって生成されたパターン光３０ａを投射する。投射レンズ３６は、単一のレンズでなくてもよく、複数のレンズが組み合わされて構成されてもよい。
　距離測定装置１は、回路部の構成として、第１撮像処理部４１と、第２撮像処理部４２と、光源駆動部４３と、輝度調整部４４と、計測部４５と、制御部４６と、通信インタフェース４７とを備える。
　第１撮像処理部４１および第２撮像処理部４２は、撮像素子１２，２２を制御するとともに、撮像素子１２，２２からそれぞれ出力される第１画像および第２画像の画素信号に対して、輝度補正およびカメラ校正などの処理を行う。
　光源駆動部４３は、輝度調整部４４から設定された駆動電流値で光源３１～３３をそれぞれ駆動する。
　輝度調整部４４は、第２撮像処理部４２から入力される第２画像の画素信号（輝度）に基づき、光源３１～３３の駆動電流値を光源駆動部４３に設定する。具体的には、輝度調整部４４は、第２撮像部２０からの画素信号に基づいて取得される光源３１～３３からの光に基づく最大輝度が飽和しないように、光源３１～３３の駆動電流値（発光量）を設定する。
　計測部４５は、第１撮像処理部４１および第２撮像処理部４２からそれぞれ入力される第１画像および第２画像を比較処理してステレオ対応点探索を行い、第１画像上の各画素ブロックについて物体Ａ１の表面Ａ１ｓまでの距離を取得する。計測部４５は、取得した全画素ブロック分の距離情報を、通信インタフェース４７を介して、外部装置に送信する。
　すなわち、計測部４５は、距離の取得対象とされる画素ブロック（以下、「対象画素ブロック」という）を第１画像上に設定し、この対象画素ブロックに対応する画素ブロック、すなわち、対象画素ブロックに最も適合する画素ブロック（以下、「適合画素ブロック」という）を、第２画像上に規定した探索範囲において探索する。計測部４５は、第２画像上において対象画素ブロックと同じ位置にある画素ブロック（以下、「基準画素ブロック」という）と、上記探索により第２画像から抽出した適合画素ブロックとの間の画素ずれ量を取得し、取得した画素ずれ量から、対象画素ブロックの位置における物体Ａ１の表面Ａ１ｓまでの距離を算出する。
　計測部４５および通信インタフェース４７は、ＦＰＧＡ（Field Programmable G ate Array）からなる半導体集積回路により構成されてもよい。また、これら各部は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）およびＡＳＩＣ（Application Specific Integrated Circuit）などの他の半導体集積回路により構成されてもよい。
　制御部４６は、マイクロコンピュータ等により構成され、内蔵メモリに記憶された所定のプログラムに従って各部を制御する。
　図３は第１実施形態に係る距離測定装置の概略構成を示す図である。図３は、第１撮像部１０、第２撮像部２０および物体Ａ１の配置を図示している。図３に示すように、第１撮像部１０における、撮像レンズ１１の主面１１ｓと、撮像素子１２の撮像面１２ａと、物体Ａ１の表面Ａ１ｓとの延長線が一点で交わるように配置されている。同様に、第２撮像部２０における、撮像レンズ２１の主面２１ｓと、撮像素子２２の撮像面２２ａと、物体Ａ１の表面Ａ１ｓとの延長線が一点で交わるように配置されている。このように、第１撮像部の撮像面１２ａ（センサ面）と、撮像レンズ１１の主面１１ｓとは、互いに平行とならないように配置されており、第２撮像部２０の撮像面２２ａ（センサ面）と、撮像レンズ２１の主面２１ｓとは、互いに平行とならないように配置されている。詳細には、第１撮像部１０および第２撮像部２０は、物体Ａ１の表面Ａ１ｓに対してシャインプルーフの条件を満たすように配置されている。この配置により、第１撮像部１０および第２撮像部２０は、いずれも、撮像部から遠い物体と近い物体とのいずれにも焦点を合わせることができる。なお、図３では、撮像レンズ１１の主面１１ｓと撮像素子１２の撮像面１２ａとのなす角度、および、撮像レンズ２１の主面２１ｓと撮像素子２２の撮像面２２ａとの間の角度、がそれぞれθ’で同じである。
　図４は第１画像に対する画素ブロックの設定方法を模式的に示す図である。具体的には、図４（ａ）は、第１画像１００全体に対する画素ブロック１０２の設定方法を示し、図４（ｂ）は、第１画像１００の一部の領域を拡大して示している。なお、図４は、後述するキャリブレーション処理の後の第１画像１００である。
　図４（ａ），（ｂ）に示すように、第１画像１００は、それぞれ所定数の画素領域１０１を含む複数の画素ブロック１０２に区分される。画素領域１０１は、撮像素子１２上の１つの画素に対応する領域である。すなわち、画素領域１０１は、第１画像１００の最小単位である。図３（ａ）、（ｂ）の例では、３行および３列に並ぶ９個の画素領域１０１によって、１つの画素ブロック１０２が構成される。ただし、１つの画素ブロック１０２に含まれる画素領域１０１の数は、これに限られない。
　図５は第１実施形態に係るフィルタの構成を示す図である。具体的には、図５（ａ）は、フィルタ３５の構成を模式的に示す図である。図５（ｂ）は図５（ａ）の一部の領域を拡大して示す図である。図５（ａ），（ｂ）には、フィルタ３５を光の入射面３５ａ側から見た状態が示されている。
　図５（ａ），（ｂ）に示すように、フィルタ３５には、複数種類のフィルタ領域３５１～３５４が所定のパターンで形成されている。図５（ａ），（ｂ）には、フィルタ領域３５１～３５４の種類が、互いに異なるハッチングの種類で示されている。フィルタ領域３５１～３５４は、互いに異なる波長帯域の光を選択的に透過し、異なる色相の光領域を形成する。ここでは、フィルタ領域３５１は、色相「赤」に対応し、フィルタ領域３５２は、色相「橙」に対応し、フィルタ領域３５３は、色相「緑」に対応し、フィルタ領域３５４は、色相「青」に対応する光領域を形成する。光源３１～３３とフィルタ領域３５１～３５４の特性に関しては後述する。
　各々のフィルタ領域３５１～３５４のサイズは、たとえば、撮像素子１２、２２上の１の画素ブロックに略対応するサイズに設定される。たとえば、図５（ｂ）に破線で示す領域Ｂ１は、撮像素子１２、２２上の縦３画素および横３画素からなる画素ブロック（上述のステレオ対応点探索に用いる画素ブロック１０２、２０２）の領域に対応する領域である。すなわち、物体Ａ１の表面Ａ１ｓまでの距離Ｄ０が基準の距離（たとえば、測距レンジの中間距離）にある場合、この領域Ｂ１の光が、撮像素子１２、２２上の縦３画素および横３画素からなる画素ブロックの領域に投光される。なお、各々のフィルタ領域３５１～３５４のサイズは、必ずしも、１画素に対応するサイズに限られるものではない。各々のフィルタ領域３５１～３５４のサイズは、１の画素ブロックに対応するサイズに対し、大きくてもよく、あるいは小さくてもよい。また、図５（ｂ）では、各々のフィルタ領域３５１～３５４が長方形であり、そのサイズが互いに同じであるが、各々のフィルタ領域３５１～３５４のサイズが互いに異なっていてもよく、また、その形状が正方形や円形等の他の形状であってもよい。
　フィルタ領域３５１～３５４は、ステレオ対応点探索に用いる全ての画素ブロックに対応する領域Ｂ１において、互いに異なる種類のフィルタ領域が含まれるように配置されることが好ましく、これら領域Ｂ１に全ての種類のフィルタ領域３５１～３５４がそれぞれ含まれるように配置されることがさらに好ましい。また、画素ブロックに対応する領域Ｂ１に含まれるフィルタ領域の配置パターンは、少なくとも、ステレオ対応点探索における探索範囲Ｒ０（図３参照）において、各探索位置の画素ブロックごとに特異（ランダム）であることが好ましい。
　このようにフィルタ領域３５１～３５４が配置されると、後述のように、フィルタ領域３５１～３５４を通った光の輝度を互いに異ならせることにより、画素ブロック内における光の輝度分布を、画素ブロックごとに特異なるものとすることができる。これにより、ステレオ対応点探索の精度を高めることができ、結果、距離の測定精度を高めることができる。
　図６（ａ）は第１実施形態に係る第１画像１００を示す図であり、図６（ｂ）は第１実施形態に係る第２画像２００を示す図である。なお、図６（ａ），（ｂ）は、後述するキャリブレーション処理の前の第１画像１００および第２画像２００である。
　図６（ａ）に示すように、第１画像１００は、図面右側から図面左側に掛けてドット光の左右方向の幅が狭くなっている。また、図５（ｂ）に示すように、第２画像２００は、図面左側から図面右側に掛けてドット光の左右方向の幅が狭くなっている。具体的には、第１画像１００は、図面左側の第１領域Ｔ１におけるドット光の左右方向の幅が広くなっており、図面右側の第２領域Ｔ２におけるドット光の左右方向の幅が狭くなっている。第２画像２００は、図面左側の第３領域Ｔ３におけるドット光の左右方向の幅が狭くなっており、図面右側の第４領域Ｔ４におけるドット光の左右方向の幅が広くなっている。これは、第１撮像部１０および第２撮像部２０が物体Ａ１に対してシャインプルーフの条件を満たすように配置されているため、撮像部に近い側のドット光の幅方向の幅が広くなり、撮像部に遠い側のドット光の幅方向の幅が狭くなる。このため、第１画像１００および第２画像２００において、撮像部から遠い側の解像度が低下する。第１実施形態では、後述するキャリブレーション処理を実行することにより、シャインプルーフの条件を満たすように光学系が配置されている場合でも、解像度の低下を抑えることが可能である。
　図７は第１実施形態に係る光源の出力する波長帯域を説明するための図である。
　図７（ａ）は、光源３１～３３の分光出力を示すグラフである。光源３１～３３の分光出力は、それぞれ、実線（Ｅ１１）、点線（Ｅ１２）および破線（Ｅ１２）で示されている。ここでは、光源３１の最大出力によって、グラフの縦軸が規格化されている。
　光源３１は、中心波長が６１０ｎｍ付近で出射帯域幅が８０ｎｍ程度の光を出射する。光源３２は、中心波長が５２０ｎｍ付近で出射帯域幅が１５０ｎｍ程度の光を出射する。光源３３は、中心波長が４７０ｎｍ付近で出射帯域幅が１００ｎｍ程度の光を出射する。
　図７（ｂ）は、フィルタ領域３５１～３５４の分光透過率を示すグラフである。フィルタ領域３５１～３５４の分光透過率は、それぞれ、実線（Ｅ２１）、１点鎖線（Ｅ２２）、点線（Ｅ２３）および破線（Ｅ２４）で示されている。ここでは、フィルタ領域３５１の最大透過率によって、グラフの縦軸が規格化されている。
　フィルタ領域３５１は、５７０ｎｍ付近から波長の増加に伴い透過率が上昇し、６５０ｎｍ付近以上では最大透過率を維持する。フィルタ領域３５１は、光源３１からの光を主に透過し、色相「赤」の光領域（ドット光）を形成する。フィルタ領域３５２は、最大透過率が５６０ｎｍ付近であり、透過波長幅が１６０ｎｍ程度の分光特性を有し、主として、光源３１からの光と光源３２からの光を透過し、色相「橙」の光領域（ドット光）を形成する。フィルタ領域３５３は、最大透過率が５２０ｎｍ付近であり、透過帯域幅が１５０ｎｍ程度の分光特性を有し、主として、光源３２からの光を透過し、色相「緑」の光領域（ドット光）を形成する。フィルタ領域３５４は、最大透過率が４６０ｎｍ付近であり、透過帯域幅が１５０ｎｍ程度の分光特性を有し、主として、光源３３からの光を透過し、色相「青」の光領域（ドット光）を形成する。
　ここでは、４種類の分光透過率を有するフィルタに関して説明したが、これに限らず、例えば、光源３１～光源３３の波長域から複数の波長域を透過する分光透過率を有するフィルタを追加することによって、さらに多くの異なる色相の光領域（ドット光）を形成することも可能である。
　次に、計測部４５が第１画像１００および第２画像２００に基づき、距離指標値を算出する方法を説明する。
　図８は第１実施形態に係るキャリブレーション処理を説明するためのフローチャートである。
　計測部４５は、第１撮像部１０が撮像した第１画像１００、および、第２撮像部が撮像した第２画像２００を読み込む（ステップＳ１）。具体的には、計測部４５は、図６（ａ），（ｂ）の第１画像１００および第２画像２００を読み込む。
　計測部４５は、第１画像１００および第２画像２００の読み込みが終了する（ステップＳ２のＹｅｓ）と、キャリブレーションデータを生成する（ステップＳ３）。具体的には、計測部４５は、第２画像２００の第３領域Ｔ３における画像を、第１画像１００の第１領域Ｔ１における画像に置き換えることで第２画像２００の一部である第３領域Ｔ３を第１画像１００の一部である第１領域Ｔ１で補間する。同様に、第１画像１００の第２領域Ｔ２における画像を、第２画像２００の第４領域Ｔ４における画像に置き換えることで第１画像１００の一部である第２領域Ｔ２を、第２画像２００の一部である第４領域Ｔ４で補間する。すなわち、計測部４５は、第１画像１００において、低解像度領域である第２領域Ｔ２を、第２画像２００における高解像度領域である第４領域Ｔ４に置き換える。同様に、計測部４５は、第２画像２００において、低解像度領域である第３領域Ｔ３を、第１画像１００における高解像度領域である第１領域Ｔ１に置き換える。これにより、第１画像１００および第２画像２００は、距離測定装置の被写界深度を高めつつ、画像の解像度を高める、ことが可能となる。その後、計測部４５は、第１画像１００および第２画像２００を規格化する。具体的には、第１画像１００および第２画像２００における各ドット光の画像の左右幅を同一にする処理を行う。以上の処理により、図６（ａ），（ｂ）の第１画像１００および第２画像２００のそれぞれを、図５（ａ），（ｂ）の第１画像１００および第２画像２００に変換する。
　計測部４５は、ステップＳ３において生成した第１画像１００および第２画像２００をキャリブレーションデータとして保存する（ステップＳ４）。
　計測部４５は、ステップＳ４の後、キャリブレーションデータとして保存された第１画像１００および第２画像２００を読み出して、以下に説明する対象画素ブロックの探索方法を実行する。なお、対象画素ブロックの探索方法を実行する前には、第１画像１００および第２画像２００に対して、規格を揃えるための補正が行われる。具体的には、第１画像１００および第２画像に対して、各ドット光の左右方向の幅が均一となるように、補正が行われる。
　図９は第１実施形態に係る対象画素ブロックの探索方法を説明するための図である。具体的に、図９（ａ）は第１画像１００上に対象画素ブロックＴＢ１が設定された状態を模式的に示す図であり、図９（ｂ）は図９（ａ）の対象画素ブロックを探索するために第２画像２００上に設定される探索範囲Ｒ０を模式的に示す図である。
　図９（ｂ）では、便宜上、第２撮像部２０から取得される第２画像２００が、第１画像１００と同様、複数の画素ブロック２０２に区分されている。画素ブロック２０２は、上述の画素ブロック１０２と同じ数の画素領域を含む。
　図９（ａ）において、対象画素ブロックＴＢ１は、第１画像１００上の画素ブロック１０２のうち、処理対象の画素ブロック１０２である。また、図９（ｂ）において、基準画素ブロックＴＢ２は、対象画素ブロックＴＢ１に対応する第２画像２００上の画素ブロック２０２である。
　計測部４５は、対象画素ブロックＴＢ１に対応する基準画素ブロックＴＢ２を、第２画像２００上において特定する。そして、計測部４５は、特定した基準画素ブロックＴＢ２の位置を、探索範囲Ｒ０の基準位置Ｐ０に設定し、この基準位置Ｐ０から第１撮像部１０および第２撮像部２０の離間方向に延びる範囲を、探索範囲Ｒ０に設定する。
　探索範囲Ｒ０の延びる方向は、第２画像２００上において、対象画素ブロックＴＢ１に対応する画素ブロック（適合画素ブロックＭＢ２）が、視差により、基準位置Ｐ０からずれる方向に設定される。ここでは、基準位置Ｐ０から右方向（図１のＸ軸方向に対応する方向）に並ぶ１１個の画素ブロック２０２の範囲に、探索範囲Ｒ０が設定されている。但し、探索範囲Ｒ０に含まれる画素ブロック２０２の数は、これに限られるものではない。
　計測部４５は、設定した探索範囲Ｒ０について、対象画素ブロックＴＢ１に対応する画素ブロック（適合画素ブロックＭＢ２）を探索する。具体的には、計測部４５は、基準画素ブロックＴＢ２から右方向に１画素ずつ探索位置をずらしながら、対象画素ブロックＴＢ１と各探索位置との間の相関値を算出する。相関値は、たとえば、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）が用いられる。そして、計測部４５は、探索範囲Ｒ０上の最も相関が高い探索位置の画素ブロックを適合画素ブロックＭＢ２として特定する。
　さらに、計測部４５は、基準画素ブロックＴＢ２に対する適合画素ブロックＭＢ２の画素ずれ量を取得する。そして、計測部４５は、取得した画素ずれ量と、第１撮像部１０と第２撮像部２０との離間距離とから、三角測量法により物体Ａ１の表面Ａ１ｓまでの距離を算出する。計測部４５は、第１画像１００上の全ての画素ブロック１０２（対象画素ブロックＴＢ１）について同様の処理を実行する。こうして、全ての画素ブロック１０２における距離を取得すると、計測部４５は、これらの距離情報を、通信インタフェース４７を介して、外部装置に送信する。
　距離測定装置１は、例えば、固定して用いられる他、たとえば、工場内において作業動作するロボットアームのエンドエフェクタ（把持部、等）に設置される。この場合、距離測定装置１の制御部４６は、ロボットアームの作業工程において、通信インタフェース４７を介して、ロボットコントローラから距離取得の指示を受ける。この指示に応じて、制御部４６は、エンドエフェクタの位置と作業対象の物体Ａ１の表面Ａ１ｓとの距離を計測部４５に測定させ、その測定結果を、通信インタフェース４７を介して、ロボットコントローラに送信する。ロボットコントローラは、受信した距離情報に基づき、エンドエフェクタの動作をフィードバック制御する。このように、距離測定装置１がエンドエフェクタに設置される場合、距離測定装置１は、小型であること、および軽量であることが望ましい。
　（第２実施形態）
　第１実施形態では、第１画像および第２画像において、低解像度領域である領域を、高解像度領域である領域に相互に置き換えることにより、距離測定装置の高解像度化を図っていた。これに対し、第２実施形態では、第１撮像部１０および第２撮像部２０で撮像される第１画像１００および第２画像２００を考慮したパターン光３０ａを投光部３０が照射することにより、距離測定装置の高解像度化を図っている。
　図１０は第２実施形態に係るパターン光の一例を示す図である。具体的には、図１０（ａ）は第１撮像部１０が第１画像１００を撮像する際に投光されるパターン光３０ａであり、図１０（ｂ）は第２撮像部２０が第２画像２００を撮像する際に投光されるパターン光３０ａである。
　図１０（ａ）では、図面左側から図面右側に掛けてパターン光３０ａの左右方向の幅が狭くなっている。図１０（ｂ）では、図面右側から図面左側に掛けてパターン光３０ａの左右方向の幅が狭くなっている。上述したように、第１撮像部１０および第２撮像部２０が物体Ａ１に対してシャインプルーフの条件を満たすように配置されているため、撮像部に近い側のドット光の幅方向の幅が広くなり、撮像部に遠い側のドット光の幅方向の幅が狭くなる。このため、撮像部に近い側のドット光の幅方向の幅を狭くし、撮像部に遠い側のドット光の幅方向の幅を広くするようにパターン光を投光する。すなわち、前記第１撮像部１０は、図１０（ｂ）に示すパターン光が投光されずに図１０（ａ）に示すパターン光が投光された場合に前記第１画像を取得する。前記第２撮像部２０は、図１０（ａ）に示すパターン光が投光されずに図１０（ｂ）に示すパターン光が投光された場合に前記第２画像を取得する。これにより、第１画像１００および第２画像２００のドット光の幅が一定とすることができる。このように、図１０（ａ）に示すパターン光は、第１撮像部１０の撮像面１２ａ（センサ面）に対する物体Ａ１の表面Ａ１ｓの傾きを基に生成され、図１０（ｂ）に示すパターン光は、第２撮像部２０の撮像面２２ａ（センサ面）に対する物体Ａ１の表面Ａ１ｓの傾きを基に生成される。
　なお、第２実施形態では、図８におけるステップＳ３のキャリブレーションデータの生成の際に、第１画像１００および第２画像２００の一部を相互に置き換える処理は実行されず、第１画像１００および第２画像２００を規格化する処理のみが行われる。
　なお、上記各実施形態において、撮像レンズ１１，２１の向きを変更する可動部を設けてもよい。これにより、物体Ａ１の表面Ａ１ｓの向きに応じて、撮像レンズ１１の向きを変更することで、物体Ａ１の任意の向きの表面Ａ１ｓに対して、シャインプルーフの条件を満たすように、第１撮像部１０、第２撮像部および物体Ａ１を配置することができる。
　また、上記各実施形態において、投光部３０は、異なる波長帯域の光を出射する３つの光源３１～３３を備えるが、１以上の光源を備えてもよい。
１　　距離測定装置
１０　　第１撮像部
２０　　第２撮像部
１１，２１　　撮像レンズ（レンズ）
１２，２２　　撮像素子
１２ａ，２２ａ　　撮像面（センサ面）
３０　　投光部
３０ａ　　パターン光
３１～３３　　光源
４５　　計測部

Claims (5)

  1. 　互いに異なる複数種類の波長帯を含む光を投光する投光部と、
    　互いに視野が重なるように配置された第１撮像部および第２撮像部と、
    　物体を前記第１撮像部のセンサ面に結像するためのレンズとを備え、
    　前記投光部は、前記物体が存在するように構成されてかつ前記第１撮像部と前記第２撮像部の前記視野が重なる範囲に、所定パターンで前記複数種類の波長帯の光が分布するパターン光を投光し、
    　前記第１撮像部の前記センサ面と、前記レンズの主面とは、互いに平行とならないように配置されている、距離測定装置。
  2. 　前記第１撮像部の前記センサ面と、前記レンズの前記主面と、前記物体の表面とが、シャインプルーフの条件を満たすように配置されている、請求項１に記載の距離測定装置。
  3. 　前記第１撮像部により取得された第１画像および前記第２撮像部により取得された第２画像に基づいて、前記パターン光が投光された前記物体の表面までの距離を計測する計測部をさらに備え、
    　前記計測部は、前記第１画像を基に、前記第２画像を補間する、請求項１に記載の距離測定装置。
  4. 　前記第１撮像部により取得された第１画像および前記第２撮像部により取得された第２画像に基づいて、前記パターン光が投光された前記物体の表面までの距離を計測する計測部をさらに備え、
    　前記投光部は、第１パターン光および第２パターン光を投光し、
    　前記第１パターン光は、前記第１撮像部の前記センサ面に対する前記物体の前記表面の傾きを基に生成され、
    　前記第２パターン光は、前記第２撮像部の前記センサ面に対する前記物体の前記表面の傾きを基に生成され、
    　前記第１撮像部は、前記第１パターン光が投光された場合に前記第１画像を取得し、
    　前記第２撮像部は、前記第２パターン光が投光された場合に前記第２画像を取得する、請求項１に記載の距離測定装置。
  5. 　前記レンズの向きを変更する可動部をさらに備えた、
    　請求項１に記載の距離測定装置。
PCT/JP2023/043421 2023-01-25 2023-12-05 距離測定装置 WO2024157611A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-009592 2023-01-25
JP2023009592 2023-01-25

Publications (1)

Publication Number Publication Date
WO2024157611A1 true WO2024157611A1 (ja) 2024-08-02

Family

ID=91970369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/043421 WO2024157611A1 (ja) 2023-01-25 2023-12-05 距離測定装置

Country Status (1)

Country Link
WO (1) WO2024157611A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064482A (ja) * 2009-09-15 2011-03-31 Kurabo Ind Ltd 高速三次元計測装置及び高速三次元計測方法
WO2012042943A1 (ja) * 2010-09-30 2012-04-05 オムロン株式会社 投光ビームの調整方法
CN110926371A (zh) * 2019-11-19 2020-03-27 宁波舜宇仪器有限公司 三维表面检测方法及装置
JP2020153727A (ja) * 2019-03-19 2020-09-24 キオクシア株式会社 検査装置
JP2022536887A (ja) * 2019-06-18 2022-08-22 クロマセンス ゲーエムベーハー ステレオカメラシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064482A (ja) * 2009-09-15 2011-03-31 Kurabo Ind Ltd 高速三次元計測装置及び高速三次元計測方法
WO2012042943A1 (ja) * 2010-09-30 2012-04-05 オムロン株式会社 投光ビームの調整方法
JP2020153727A (ja) * 2019-03-19 2020-09-24 キオクシア株式会社 検査装置
JP2022536887A (ja) * 2019-06-18 2022-08-22 クロマセンス ゲーエムベーハー ステレオカメラシステム
CN110926371A (zh) * 2019-11-19 2020-03-27 宁波舜宇仪器有限公司 三维表面检测方法及装置

Similar Documents

Publication Publication Date Title
US10018722B2 (en) Measurement apparatus
US20140253719A1 (en) Galvanometer scanned camera with variable focus and method
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP6883869B2 (ja) 画像検査装置、画像検査方法、及び画像検査装置用部品
JP2013257162A (ja) 測距装置
WO2023182237A1 (ja) 距離測定装置
JP7093915B2 (ja) 表面形状測定方法
WO2021161684A1 (ja) 撮像ユニット及び測定装置
JP2017534907A (ja) 顕微鏡
JP7154069B2 (ja) 画像検査装置
JP7152223B2 (ja) 画像測定装置
WO2024157611A1 (ja) 距離測定装置
TW202006319A (zh) 表面形貌光學量測系統及表面形貌光學量測方法
US20190301855A1 (en) Parallax detection device, distance detection device, robot device, parallax detection method, and distance detection method
JP5540664B2 (ja) 光軸調整システム、光軸調整装置、光軸調整方法、及びプログラム
US20210310791A1 (en) Three-dimensional measuring apparatus, three-dimensional measuring method
US10614275B2 (en) Position specifying apparatus and position specifying method
JP2013002969A (ja) カラー画像処理型ヘッドライトテスター
JP2017534908A (ja) 顕微鏡
WO2024111325A1 (ja) 距離測定装置
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
JP5517108B2 (ja) 波面収差測定装置
JP6576442B2 (ja) 顕微鏡
WO2024111326A1 (ja) 距離測定装置
WO2024070954A1 (ja) 距離測定装置、距離測定方法、距離測定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23918566

Country of ref document: EP

Kind code of ref document: A1