WO2020137185A1 - 距離計測装置および距離計測方法 - Google Patents

距離計測装置および距離計測方法 Download PDF

Info

Publication number
WO2020137185A1
WO2020137185A1 PCT/JP2019/043827 JP2019043827W WO2020137185A1 WO 2020137185 A1 WO2020137185 A1 WO 2020137185A1 JP 2019043827 W JP2019043827 W JP 2019043827W WO 2020137185 A1 WO2020137185 A1 WO 2020137185A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
distance
array
evaluation index
complex
Prior art date
Application number
PCT/JP2019/043827
Other languages
English (en)
French (fr)
Inventor
啓太 山口
悠介 中村
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020137185A1 publication Critical patent/WO2020137185A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a distance measuring device and a distance measuring method.
  • the present invention claims the priority of Japanese Patent Application No. 2018-242875 filed on December 26, 2018, and regarding the designated countries in which weaving by reference to documents is allowed, the contents described in the application are This application is incorporated by reference.
  • Japanese Patent Application Laid-Open No. 2004-242242 describes a configuration for realizing a high-performance image pickup apparatus that performs focus adjustment (refocusing) after shooting, autofocus, distance measurement, and the like, “a plurality of pixels arranged in an array on an image pickup surface.
  • An image sensor that converts the optical image captured by the image sensor into an image signal and outputs the image signal, a modulator that is provided on the light-receiving surface of the image sensor and that modulates the intensity of light, and an image signal that is output from the image sensor.
  • a signal processing unit that performs image processing of the image signal output from the image storage unit, wherein the modulator is a first grating pattern including a plurality of concentric circles. And the signal processing unit generates a moire fringe image by modulating the image signal output from the image sensor with a second lattice pattern composed of a plurality of concentric circles.”
  • An imaging device is disclosed.
  • the present invention has been made in view of such a situation, and an object thereof is to enable accurate distance information to be generated in a distance measurement calculation of an imaging device or the like.
  • a distance measuring device is an image sensor that converts light into an electric signal to generate a sensor image, and is projected onto the image sensor based on a shooting pattern.
  • a modulator that modulates the intensity of light
  • a complex sensor image generation unit that generates a complex sensor image having a complex number from the sensor image
  • an evaluation index array generation that generates an evaluation index array based on the phase information of the complex sensor image.
  • Unit and a distance information generation unit that generates distance information using the evaluation index array, wherein the evaluation index array generation unit includes an evaluation pattern including a plurality of different development patterns according to the focus distance.
  • the stacked three-dimensional array is used as the evaluation index array.
  • constituent elements are not necessarily essential in the respective embodiments, unless otherwise specified or in principle considered to be essential. Yes.
  • the shapes, positional relationships, etc. of constituent elements, etc. when referring to shapes, positional relationships, etc. of constituent elements, etc., the shapes thereof are substantially the same, unless otherwise specified or in principle not apparently. And the like, etc. are included. This also applies to the above numerical values and ranges.
  • the same members are denoted by the same reference symbols in principle and the repeated description thereof will be omitted.
  • FIG. 1 shows a configuration example of a distance measuring device 101 which is a first embodiment according to the present invention.
  • the distance measuring device 101 acquires an image of an object in the outside world without using a lens for forming an image, and as shown in FIG. 1, the imaging unit 102, the image processing unit 106, the controller 107, and the distance measuring variable. It comprises a setting unit 111.
  • the image processing unit 106 includes a complex sensor image generation unit 108, an evaluation index array generation unit 109, and a distance information generation unit 110.
  • FIG. 2 is a diagram showing a configuration example of the imaging unit.
  • the image pickup unit 102 includes an image sensor 103, a pattern substrate 104, and a photographing pattern 105.
  • the pattern board 104 is fixed in close contact with the light receiving surface of the image sensor 103, and the imaging pattern 105 is formed on the other surface.
  • the pattern substrate 104 is made of a material transparent to visible light, such as glass or plastic.
  • the imaging pattern 105 is formed by depositing a metal such as aluminum or chromium by a sputtering method used in a semiconductor process, for example.
  • the pattern is a shaded pattern with and without aluminum deposition.
  • the formation of the shooting pattern 105 is not limited to this, and may be formed by any means as long as it is possible to realize the modulation of the transmittance, for example, by changing the density by printing with an inkjet printer or the like. ..
  • the pattern substrate 104 is made of a material transparent to far infrared rays such as germanium, silicon, chalcogenide, or the like. A material that is transparent to the wavelength that becomes, and a material that blocks the imaging pattern 105 may be used.
  • the method of forming the imaging pattern 105 on the pattern substrate 104 is described here, it may be formed as shown in FIG.
  • FIG. 3 is a diagram showing another configuration example of the imaging unit.
  • the imaging unit 102 forms a photographing pattern 105 in a thin film and is held by a support member 301. It should be noted that in the distance measuring device 101, the photographing field angle can be changed depending on the thickness of the pattern substrate 104. Therefore, for example, if the pattern substrate 104 has the configuration of FIG. 3 and has a function of changing the length of the supporting member 301, it is possible to change the angle of view at the time of photographing and perform photographing.
  • pixels 103a which are light receiving elements, are regularly arranged in a grid pattern.
  • the image sensor 103 converts an optical image received by the pixel 103a into an image signal which is an electric signal.
  • the image signal output from the image sensor 103 is subjected to image processing by the image processing unit 106, which is an image processing unit, and output.
  • the controller 107 converts the data format so as to be compatible with an interface such as USB and outputs it.
  • the imaging pattern 105 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center.
  • the imaging pattern 105 is defined as in the following expression (1) using the radius r from the reference coordinates, which is the center of the concentric circles, and the pitch coefficient ⁇ .
  • the imaging pattern 105 is assumed to be transmittance-modulated in proportion to the equation (1).
  • FIG. 4 shows an example of the Gabor zone plate of the formula (1)
  • FIG. 5 shows an example of the Fresnel zone plate obtained by binarizing the formula (1) with the threshold value 1.
  • ⁇ indicates the initial phase of the transmittance distribution of equation (1).
  • the projected image of the shooting pattern 105 is projected by being shifted by k as in Expression (2). This is the output of the image pickup unit 102.
  • a bright point (FIG. 9) with a shift amount k is obtained by calculating a cross-correlation function between the projected image of the photographing pattern 105 (FIG. 7) and the developing pattern 801 (FIG. 8). ..
  • calculation amount generally increases when the cross-correlation calculation is performed by the two-dimensional convolution calculation, so the principle will be described using mathematical expressions for an example of calculation using the Fourier transform, which has a small calculation amount.
  • the developing pattern 801 uses a Gabor zone plate or a Fresnel zone plate similarly to the photographing pattern 105, the developing pattern 801 can be expressed by the following equation (3) using the initial phase ⁇ . it can.
  • the development pattern 801 is used in the image processing by the image processing unit 106, it is not necessary to offset by 1 as in Expression (1), and even if it has a negative value, there is no problem.
  • F represents a Fourier transform operation
  • u is a frequency coordinate in the x direction
  • ⁇ with parentheses is a delta function.
  • the equation after the Fourier transform is also a Fresnel zone plate or a Gabor zone plate. Therefore, the development pattern after the Fourier transform may be directly generated based on the equations (4) and (5). This makes it possible to reduce the amount of calculation.
  • exp(-iku) term represented by the exponential function in equation (6) is a signal component, and if this term is Fourier transformed, it is transformed as in equation (7) below, and at the position of k on the original x axis. You can get a bright spot.
  • This bright point indicates a luminous flux at infinity, and it becomes an image captured by the distance measuring device 101.
  • the pattern autocorrelation function may be realized by a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, a random pattern.
  • the phase ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ .
  • FIG. 12 shows the configuration of the distance measuring device 101 in the case of implementing a fringe scan by switching patterns in time division.
  • a liquid crystal display element or the like capable of electrically switching and displaying a plurality of initial phases ⁇ shown in FIG. 10 may be used.
  • the switching timing of the liquid crystal display element and the shutter timing of the image sensor 103 are synchronously controlled by the modulator control unit 1202, and after four images are acquired, the fringe scan calculation is performed.
  • the electrodes for driving the liquid crystal display element may be configured as shown in FIG. 42, for example.
  • Concentric transparent electrodes are formed so as to divide one cycle of the imaging pattern 105 into four, and every four electrodes from the inner side are connected to the outer electrodes. Four electrodes are output as drive terminals.
  • one cycle of the shooting pattern 105 corresponds to one set of black rings (or black circles) adjacent to the white ring of the shooting pattern shown in FIG.
  • the voltage states applied to the four electrodes are temporally switched between two states of "0" and "1".
  • FIG. 13 shows the configuration of the distance measuring device 101 when a fringe scan is realized by switching patterns by space division.
  • the shooting pattern 1301 the shooting pattern 1301 having a plurality of initial phases shown in FIG. 11 may be used. Then, after obtaining one image, the image dividing unit 1302 divides the image into four images corresponding to the patterns of the respective initial phases, and then performs a fringe scan calculation.
  • FIG. 14 shows how the imaging pattern 105 is projected onto the image sensor 103 when the subject described above is far (when the object is at an infinite distance).
  • a spherical wave from a point 1401 forming a distant object becomes a plane wave while propagating a sufficiently long distance and illuminates the imaging pattern 105, and when the projected image 1402 is projected on the image sensor 103, the projected image is It has almost the same shape as the photographing pattern 105. Therefore, it is possible to obtain a single bright spot by performing development processing on the projected image 1402 using the development pattern 801.
  • the imaging of an object with a finite distance will be described.
  • FIG. 15 is a diagram showing that the projection of the shooting pattern 105 on the image sensor 103 is larger than that of the shooting pattern 105 when the object to be imaged is at a finite distance.
  • the spherical wave from the point 1501 forming the object illuminates the imaging pattern 105 and its projected image 1502 is projected on the image sensor 103, the projected image is enlarged substantially uniformly.
  • the size ratio ⁇ between the projected image and the shooting pattern can be calculated using the distance f from the shooting pattern 105 to the point 1501 as in the following Expression (9).
  • the distance to the object to be photographed can be measured by obtaining the enlargement ratio ⁇ 2 of the development pattern 801 that can reproduce an in-focus image during development.
  • the distance information is extracted mainly by calculating the focus position where the contrast of the image becomes high.
  • the point spread function is not a Gaussian function type shape like an ordinary camera but a Sinc function type shape that oscillates in positive and negative directions. For this reason, in the method of simply extracting the distance information based on the contrast of the image, the error included in the extracted distance information becomes large, and highly accurate distance measurement cannot be performed.
  • the magnification rate ⁇ 2 of the in-focus development pattern 801 is obtained using an evaluation index different from the contrast of the developed image, and the distance information is extracted based on the magnification rate ⁇ 2. To do.
  • a distance measuring method by the distance measuring device 101 configured as above will be described.
  • the sensor image (image signal) generated by the image sensor 103 is supplied to the image processing unit 106, and distance information is generated by predetermined image processing.
  • the modulator control unit 1202 switches and displays a plurality of initial phases ⁇ shown in FIG. An image is captured, and four sensor images are supplied to the image processing unit 106.
  • the image division unit 1302 divides one sensor image into four regions and uses the plurality of initial phases ⁇ shown in FIG. After the captured sensor image is generated, the sensor image is supplied to the image processing unit 106.
  • the complex sensor image generation unit 108 In the image processing unit 106, the complex sensor image generation unit 108, the evaluation index array generation unit 109, and the distance information generation unit 110 sequentially perform predetermined processing. That is, the complex sensor image generation unit 108 generates the complex sensor image 1602 based on the sensor image 1601 output from the image sensor 103.
  • FIG. 16 is a diagram showing a method of generating a complex sensor image.
  • the four sensor images are I S1 , I S2 , I S3 , and I S4
  • the initial phases of the imaging pattern 105 corresponding to each sensor image are ⁇ 1 , ⁇ 2 , ⁇ 3 , and ⁇ 4 .
  • the complex sensor image generation unit 108 generates a complex sensor image 1602 based on the four sensor images 1601 output from the image sensor 103.
  • each sensor image is multiplied by exp(i ⁇ 1 ), exp(i ⁇ 2 ), exp(i ⁇ 3 ), and exp(i ⁇ 4 ) to obtain a complex result.
  • a sensor image 1602 is generated.
  • the evaluation index array generation unit 109 generates an evaluation index array 1603 based on the complex sensor image 1602 output from the complex sensor image generation unit 108.
  • a method of generating the evaluation index array 1603 will be described with reference to FIGS. 17, 18, 20 to 25, 36, and 37.
  • FIG. 17 is a diagram showing an example of a complex sensor image.
  • the complex sensor image 1602 has information including a real part and an imaginary part.
  • a cross-correlation calculation between the evaluation index array generation pattern 1801 and the complex sensor image 1602 is performed. 21 to 25 show examples of the cross-correlation calculation result.
  • FIG. 36 is a block diagram showing an example of the configuration of the evaluation index array generation unit.
  • the evaluation index array generation unit 109 includes an evaluation pattern generation unit 3601, an evaluation pattern storage unit 3602, a cross-correlation calculation unit 3603, and an evaluation index array conversion unit 3604.
  • the evaluation pattern generation unit 3601 generates a plurality of development patterns 801 having different pitch coefficients ⁇ ′ for evaluation.
  • the plurality of development patterns for evaluation are evaluation index array generation patterns (hereinafter, also referred to as evaluation patterns) 1801.
  • the evaluation pattern generation unit 3601 uses the input from the distance measurement variable setting unit 111 to determine the pitch coefficient ⁇ ′ of the development pattern 801.
  • the evaluation pattern generation unit 3601 stores the generated evaluation pattern 1801 in the evaluation pattern storage unit 3602.
  • the evaluation pattern storage unit 3602 is a readable/writable storage area and can be realized by, for example, a nonvolatile storage element.
  • the cross-correlation calculation unit 3603 reads the evaluation pattern 1801 from the evaluation pattern storage unit 3602 each time the complex sensor image 1602 input from the complex sensor image generation unit 108 is input.
  • FIG. 37 is a diagram showing an example of a method of generating a complex information array.
  • the cross-correlation calculation unit 3603 performs cross-correlation calculation with all patterns in the evaluation pattern 1801 for each complex sensor image 1602, generates a complex developed image, and arranges the complex developed image.
  • a complex information array 3701 is generated.
  • the cross-correlation calculation unit 3603 uses one complex pattern.
  • a cross-correlation calculation with the N evaluation patterns 1801 is performed on the sensor image 1602 N times for convenience, and N complex developed images are generated.
  • the cross-correlation calculation unit 3603 causes the N complex developed images to be stacked in the depth direction (the stacking direction in which the complex developed images are stacked in the order in which the focus distance from the distance measuring device 101 is closer on the extension of the direction of the subject 1901 viewed from the distance measuring device 101 ).
  • the data is output as a stacked three-dimensional complex information array 3701.
  • the evaluation index array conversion unit 3604 uses the complex information array 3701 to generate and output an evaluation index array 1603 used as an evaluation index for distance measurement.
  • An example of the evaluation index array 1603 is shown in FIG.
  • FIG. 20 is a diagram showing an example of the evaluation index array.
  • the evaluation index array 1603 is a three-dimensional array having an evaluation array of two-dimensional image information according to information in the depth direction.
  • the pitch coefficient ⁇ 0 is the coefficient of the shooting pattern projection image projected on the sensor image 1601. .. It should be noted in the results of the cross-correlation calculation shown in FIGS. 21 to 25 that when the pitch coefficient ⁇ ′ matches the pitch coefficient ⁇ 0 , the imaginary number component of the cross-correlation calculation result shown by the broken line becomes zero. That is, the amplitude of the imaginary component increases as the difference in pitch coefficient increases. Therefore, searching for the pitch coefficient ⁇ ′ where the imaginary number component is zero is a process in the distance information generation unit 110 described later.
  • the evaluation index array conversion unit 3604 stores and outputs the imaginary part absolute value of the complex information array 3701 in the evaluation index array 1603.
  • the evaluation index array 1603 is composed of N L ⁇ M two-dimensional arrays as shown in FIG. It becomes a dimensional array.
  • the distance information generation unit 110 generates distance information 2901 based on the evaluation index array 1603 which is the output of the evaluation index array conversion unit 3604. As described above, the evaluation index array 1603 becomes zero when the pitch coefficient ⁇ ′ matches the pitch coefficient ⁇ 0 , but may not become zero in the case of a general subject.
  • FIG. 26 is a diagram showing an example of how the array element values of the evaluation index array change according to the pitch of the evaluation pattern. In other words, FIG. 26 shows the pitch coefficient ⁇ ′ dependency in a certain element of the evaluation index array 1603.
  • the controller 107 converts the distance information 2901 output from the distance information generation unit 110 into data according to the purpose and outputs the data. For example, as shown in FIG. 19, when distance information 2901 is generated based on a sensor image obtained by photographing a subject 1901 and the distance image is displayed on the display, the distance information as shown in FIG. 29 is converted into data and output. In this case, in the distance image of FIG. 29, the distance information of the area 2902 corresponding to the subject 1901 is output as the distance f to the subject. Note that, as shown in FIG. 29, the controller 107 may output, as the distance image to be output, the distance information 2901 and the normal image obtained by photographing the photographing target, which overlap each other.
  • an operation amount for achieving a target control amount may be calculated from the distance information 2901 and the calculated operation amount may be output.
  • the distance measurement variable may be input to the distance measurement variable setting unit 111 via the user interface, and the data format of the data output from the controller 107 may be changed according to the input variable.
  • FIG. 27 is a flowchart illustrating an example of distance measurement processing.
  • the evaluation pattern generation unit 3601 When the distance measuring process is started, first, in step 2701, the evaluation pattern generation unit 3601 generates an evaluation pattern 1801 including N development patterns 801 having different ⁇ ′.
  • step 2702 the image sensor 103 acquires the sensor image 1601. Then, in step 2703, the complex sensor image generation unit 108 generates a complex sensor image 1602 based on the sensor image 1601 acquired in step 2702.
  • step 2704 the cross-correlation calculation unit 3603 performs cross-correlation calculation between the complex sensor image 1602 generated in step 2703 and the evaluation pattern 1801 generated in step 2701 as shown in FIG. , A complex information array 3701 including a plurality of complex developed images is generated.
  • the evaluation index array conversion unit 3604 generates an evaluation index array 1603 based on the complex information array 3701.
  • the evaluation index array 1603 is generated as a three-dimensional array as shown in FIG.
  • step 2706 the distance information generation unit 110 generates distance information 2901 based on the evaluation index array 1603 generated in step 2705, outputs the distance information 2901 to the controller 107, and ends the distance measurement processing. ..
  • the values of the array elements of the evaluation index array 1603 indicated by the curve in FIG. 26 are sampled at the same number N of sampling points as the number N of the development patterns 801 included in the evaluation pattern 1801 generated in step 2701. Therefore, as shown by the black dots in FIG. 28, the value of the evaluation index is discretely obtained for ⁇ ′.
  • ⁇ ′ having the smallest evaluation index may be searched from among the N sampled ⁇ ′s. Further, the accuracy of the distance information 2901 may be improved by performing curve fitting or interpolation processing on the number of data points in FIG.
  • the distance can be measured if there are at least two images as shown in FIG.
  • the complex sensor image generation unit 108 generates the sensor image 3003 by removing the low-frequency components 3001 and 3002 of the two images of the sensor image 1601 and then generates the complex sensor image 1602. .
  • the low-frequency component 3001 and the low-frequency component 3002 may be removed, for example, by offset-removing the average luminance of the sensor image 1601, or by performing high-pass filtering on the sensor image 1601 to remove the low-frequency component. You can go.
  • the distance measurement is performed from the two sensor images 1601, it is possible to shorten the acquisition time of the sensor image in the case of time-division fringe scanning, and the number of divisions of the sensor image in the case of space-division fringe scanning. By reducing the number, the resolution of the sensor image after division is improved, and the resolution of the distance information 2901 can be increased.
  • the distance may be measured from three sensor images 1601 or noise may be further reduced by using five or more images.
  • the low frequency component refers to a frequency component lower than the spatial frequency of the signal component included in the sensor image.
  • the pitch coefficient ⁇ ′ that minimizes the absolute value of the imaginary part of the complex information array 3701 is obtained.
  • the evaluation index array 1603 includes the imaginary part absolute value of the complex information array 3701.
  • the ratio between the value and the absolute value of the real part may be used as an index when the distance information 2901 is generated.
  • the distance information 2901 can be generated based on the pitch coefficient ⁇ ′ at which the array element of the evaluation index array 1603 becomes maximum or minimum.
  • the imaginary part of the complex information array 3701 may be stored in the evaluation index array 1603.
  • the array elements of the evaluation index array 1603 have values having positive and negative signs, and the position of the object to be photographed is in front of or behind the focus position from one L ⁇ M array. It is possible to determine the relationship.
  • the method of determining a plurality of ⁇ ′ used for generating the development pattern 801 in the evaluation pattern 1801 is based on the distance measurement range and the distance measurement resolution input to the distance measurement variable setting unit 111 via the user interface,
  • the evaluation index array generation unit 109 may select ⁇ ′ and determine the number and intervals of the sampling points shown in FIG. 28.
  • the evaluation index array 1603 may be generated by performing the Fourier transform of the moire fringes after generating the moire fringes.
  • the Gabor zone plate and the Fresnel zone plate shown in FIGS. 4 and 5 are used as the photographing pattern 105 and the developing pattern 801, the elliptical pattern shown in FIG. 40 is changed to the photographing pattern. 105 or the development pattern 801 may be used. With such a configuration, even when a rectangular sensor is used as the image sensor 103, it becomes possible to shoot with a pattern having an optimum pitch with respect to the size and resolution in the vertical and horizontal directions of the sensor, and the resolution of the distance information 2901. Can be optimized.
  • the concentric transparent electrode pattern shown in FIG. 42 may be replaced with an elliptical pattern.
  • the random pattern shown in FIG. 41 may be used as the shooting pattern 105 or the evaluation pattern 1801. With such a configuration, the evaluation pattern 1801 for distance measurement can be concealed and security can be improved.
  • the distance information of the subject can be measured by the distance measuring device 101 having the simple configuration shown in FIG.
  • FIG. 31 is a block diagram showing a configuration example of a distance measuring device according to the second embodiment of the present invention.
  • the distance measuring device 101 according to the second embodiment is basically the same as the distance measuring device 101 according to the first embodiment, but there are some differences. Specifically, the difference is that the distance measuring range input unit 3101 is added to the distance measuring device 101 according to the second embodiment, and the evaluation index array has an evaluation index array generation pattern that satisfies a predetermined condition.
  • the pitch coefficient ⁇ ′ of 1801 is calculated in a non-search manner. As a result, since the distance information 2901 is generated at high speed, non-search type distance measurement can be performed.
  • the distance measuring range input unit 3101 receives the distance measuring range input by the user and supplies it to the distance measuring variable setting unit 111.
  • the user inputs the distance measurement range by designating the closest distance L N and the farthest distance L F from the distance measurement range, for example.
  • the distance measurement variable setting unit 111 determines pitch coefficients of the plurality of development patterns 801 included in the evaluation pattern 1801 generated by the evaluation pattern generation unit 3601 based on the closest distance L N and the farthest distance L F , It outputs to the evaluation index array generation unit 109.
  • the evaluation pattern generation unit 3601 In the evaluation index array generation unit 109, the evaluation pattern generation unit 3601 generates an evaluation pattern 1801 according to the determined pitch coefficient and stores it in the evaluation pattern storage unit 3602.
  • the cross-correlation calculation unit 3603 generates and outputs a complex information array 3701 by cross-correlation calculation of the input complex sensor image and each development pattern 801 in the evaluation pattern 1801.
  • the evaluation index array conversion unit 3604 generates and outputs the evaluation index array 1603 based on the complex information array 3701.
  • the distance information generation unit 110 generates distance information 2901 based on the evaluation index array 1603 output from the evaluation index array generation unit 109.
  • FIG. 32 is a diagram showing an example of states of the imaginary part absolute value of the complex information array 3701 and sampling points.
  • the distance information generation unit 110 calculates the distance information 2901 only from the sampling points 3201 to 3204.
  • the values at the sampling points 3201 and 3202 are absolute values of the imaginary part of the complex developed image generated by the cross-correlation operation between the development pattern 801 of ⁇ ′ and the complex sensor image 1602 such that f ⁇ L N
  • the sampling points 3203. , 3204 are the absolute value of the imaginary part of the complex developed image generated by the cross-correlation operation of the development pattern 801 of ⁇ ′ and the complex sensor image 1602 such that f>L F.
  • the distance information generation unit 110 calculates ⁇ ′ that minimizes the absolute value of the imaginary part of the complex developed image based on the values of these four points. For example, the straight line 3205 passing through the sampling points 3201 and 3202 is calculated, the straight line 3206 passing through the sampling points 3203 and 3204 is calculated, and the intersection of the straight line 3205 and the straight line 3206 is calculated.
  • the distance information 2901 may be generated by deriving ⁇ ′ that minimizes the value.
  • FIG. 33 is a diagram showing an example of the imaginary part absolute value of the complex information array and the state of sampling points. As shown in FIG. 33, the number of sampling points is reduced to three, a straight line 3304 passing through the sampling points 3301 and 3302 is calculated, and then a straight line 3305 having a slope obtained by inverting the sign of the slope of the straight line 3304 and passing through the point 3303. May be calculated and the distance information 2901 may be generated from the intersection of the straight line 3304 and the straight line 3305.
  • FIG. 34 is a diagram showing an example of states of imaginary part absolute values of the complex information array and sampling points.
  • the distance measurement variable setting unit 111 selects three ⁇ ′ such that L N ⁇ f ⁇ L F, and then the distance information generation unit 110 performs sampling that is an evaluation index of 3 points.
  • the distance information 2901 may be generated by performing curve fitting on the points 3401 to 3403 with a parabola 3404.
  • the distance measuring device 101 reduces the number of sampling points as shown in FIG. 32, FIG. 33, and FIG. 34, so that the accuracy is lower than that of the distance measurement using five or more sampling points as shown in FIG. However, it is possible to generate the distance information at higher speed.
  • high-precision search type distance information generation is performed within the narrow distance measurement range obtained by non-search type distance measurement.
  • the generation speed and the improvement in accuracy may be compatible.
  • the distance measuring device according to the third embodiment is configured similarly to the distance measuring device 101 (FIG. 1), except that distance information is generated based on the phase angle of the evaluation index array.
  • FIG. 35 is a diagram showing a result of plotting the phase angle of the cross-correlation calculation result of the complex sensor image 1602 and the evaluation pattern 1801 with respect to the pitch coefficient ⁇ ′ of the evaluation pattern 1801.
  • the evaluation index array generation unit 109 the imaginary number component or the phase angle of the complex information array 3701 obtained by the cross-correlation operation of the complex sensor image 1602 and the evaluation pattern 1801 including the arbitrary two ⁇ ′ development patterns 801. Is used as the evaluation index array 1603, and a straight line 3503 passing between two sampling points 3501 and 3502 is calculated as shown in FIG. After that, ⁇ ′ at which the straight line 3503 crosses zero is calculated, and the distance information 2901 is generated.
  • the pitch coefficient ⁇ ′ used for generating the evaluation index array 1603 can be reduced to two, and high-speed distance information generation can be performed.
  • the distance information generation unit 110 converts the value of the evaluation index array element into a value that linearly changes with respect to the enlargement ratio ⁇ 2 or the distance f, instead of the pitch coefficient ⁇ ′, and based on the enlargement ratio ⁇ 2 .
  • the distance information 2901 may be generated to reduce the calculation amount.
  • the distance measuring device according to the fourth embodiment is configured similarly to the distance measuring device 101 (FIG. 1), but by using the smoothing pattern in which the developing patterns in the depth direction (subject direction) are overlapped, The difference is that the range of the focus position is expanded.
  • FIG. 47 is a diagram showing an example of how the array element values of the evaluation index array change according to the pitch of the evaluation pattern.
  • the value of the array element of the evaluation index array 1603 changes so as to draw a predetermined function when the pitch coefficient ⁇ ′, that is, the focus position is changed.
  • the solid line shows the case where the imaginary part of the complex information array 3701 is used as the evaluation index array 1603, and the broken line shows the case where the absolute value of the imaginary part of the complex information array 3701 is used.
  • the complex information array 3701 includes a complex developed image focused at a position of f 1 or less (closer than f 1 ) or f 2 or more (remote from f 2 ). If it is, the value of the array element of the evaluation index array 1603 becomes substantially zero in the region of f 1 or less or f 2 or more. Therefore, if the minimum value is found in a region of f 1 or less or f 2 or more, incorrect distance information 2901 may be output.
  • the range of the focus position that can be used for the distance measurement calculation is expanded to realize more accurate distance measurement.
  • a smoothing pattern generated by adding a plurality of patterns similar to the shooting pattern but having different pitch coefficients ⁇ ′ is used. This will be described with reference to FIG. 49.
  • FIG. 49 is a diagram showing an example of how a smoothed pattern is generated.
  • a smoothing pattern 4905 which is similar to the imaging pattern 105 and has a plurality of patterns 4901 to 4904 having different pitch coefficients ⁇ ′, is used.
  • a smoothing pattern 4910 which is similar to the imaging pattern 105 and has a plurality of patterns 4906 to 4909 having different pitch coefficients ⁇ ′, is used. ..
  • the number of patterns to be added is not limited to four, and any number of patterns may be two or more. Good. Further, instead of the addition of a plurality of patterns, the smoothing pattern may be directly generated from the expression obtained by integrating Expression (3) with respect to ⁇ to improve the calculation efficiency.
  • the complex developed image generated by the cross-correlation calculation between each of the smoothing patterns 4905 and 4910 and the complex sensor image 1602 has the complex information array 3701 generated using the evaluation pattern 1801 shown in FIG. It is the same as the one smoothed in the depth direction.
  • a plurality of methods are conceivable as the method of determining ⁇ ′ used for creating the smoothed pattern in the distance measurement variable setting unit 111, and all of them have an effect.
  • FIG. 55 is a diagram showing an example of generation of a smoothed pattern in the depth direction.
  • FIG. 55 shows an example of a method of selecting ⁇ ′ when the evaluation pattern is composed of N smoothing patterns.
  • the vertical axis represents the sampling number (1 to N)
  • the horizontal axis represents the focus distance to the subject
  • each sampling number indicates that a region indicating one focus distance range is set.
  • the first area 5501, the second area 5502, the third area 5503, and the fourth area 5504 correspond to the 1, 2, 3, and Nth sampling numbers, respectively.
  • each of the first area 5501, the second area 5502, the third area 5503, and the fourth area 5504 indicates the range of the focus distance f included in the smoothing pattern in the depth direction.
  • FIG. 48 is a diagram showing an example of how the array element value of the evaluation index array changes according to the pitch of the evaluation pattern.
  • FIG. 50 and FIG. 51 show contour line plots when the complex information array when a point light source is photographed is cut out along the surface 3702 extending in the depth direction of FIG. 37.
  • FIG. 50 is a diagram showing an example of a complex information array when an unsmoothed evaluation pattern is used. As shown in FIG. 50, when a single pattern similar in shape to the shooting pattern is used as the developing pattern, the spread of the point light source depending on defocus becomes steep as shown in FIG.
  • FIG. 51 is a diagram showing an example of a complex information array when a smoothing pattern is used.
  • the smoothing pattern when used as the developing pattern, the spread of the point light source depending on the defocus becomes slow. For this reason, the use of the smoothing pattern not only widens the focus range that can be used for distance measurement, but also suppresses the effect of propagation of blur from other pixels in the plane and suppresses the disturbance of the distance measurement result. There is an effect that can be done.
  • each pattern may be multiplied by different weighting factors W1 (5201) to W4 (5204).
  • FIG. 53 is a diagram showing an example of weighting for weighted smoothing pattern generation.
  • Each of the weighting coefficients W1 (5201) to W4 (5204) takes a value along the Gaussian function type weight 5301 as shown in FIG. It is possible to prevent the value of the array element of the index array from not increasing monotonically with respect to the focus position. Further, by adding the weighting factors W1 (5201) to W4 (5204) along the asymmetrical weight 5302, it is possible to suppress the shift of the position where the element value of the evaluation index array crosses zero.
  • the smoothing range of the smoothing pattern is set such that the first area 5501, the second area 5502, the third area 5503, and the fourth area 5504 are equidistant at equal intervals. It is not limited to the range.
  • FIG. 56 is a diagram showing an example of generation of a smoothing pattern in the depth direction.
  • the smoothing ranges may overlap in the areas of the smoothing pattern. That is, in FIG. 56, the developing patterns at the overlapping focus positions are included in each of the first region 5501 and the second region 5502 and between the second region 5502 and the third region 5503. However, even in that case, it can be adopted without any problem.
  • FIG. 57 is a diagram showing an example of smoothing pattern generation in the depth direction.
  • the smoothing range may be gradually widened as the focus position becomes remote. That is, the smoothing range may be narrowed as the focus position comes closer to the front. Generally, the farther the focus position is, the deeper the depth of field of the developed image becomes. Therefore, by setting the smoothing range like this, the smoothing effect of the object at a short distance and the object at a long distance are similar. It is possible to bring.
  • the smoothing range may be gradually expanded as the focus position gets closer. This is because in general, the closer the focus position is, the more often it is necessary to detect the focus position more finely.
  • FIG. 58 is a diagram showing an example of smoothing pattern generation in the depth direction. As shown in FIG. 58, when the intervals between the smoothing patterns are equidistant on the logarithmic scale, the smoothing ranges may be selected so as to have the same length on the logarithmic scale.
  • FIG. 59 is a diagram showing an example of generation of a smoothing pattern in the depth direction.
  • a negative focus position is included in the smoothing range, that is, when the focus position is on the sensor surface side of the shooting pattern 105 (when the distance f-averaging range ⁇ 0).
  • the pitch coefficient may diverge infinitely, resulting in an error. Even in this case, the error can be avoided by excluding the portion surrounded by the broken line (when the value of the negative f is negative) in the first region 5501 from being included in the smoothing pattern.
  • FIG. 54 is a diagram showing an example of the user interface of the distance measurement software.
  • This user interface is a screen displayed on the display of the distance measuring device 101 or the display of a computer attached thereto.
  • the distance measuring device 101 displays the minimum value (Depth Min), the maximum value (Depth Max), the smoothing range (Depth Averaging Range) of the smoothing pattern, and the smoothing resolution (Depth Resolution) of the distance measuring range via this screen. Accept input.
  • the distance measurement range is the distance from the minimum value (Depth Min) to the maximum value (Depth Max) of the distance measurement range.
  • the distance measurement variable setting unit 111 transfers the input minimum value, maximum value, smoothing range, and smoothing resolution to the evaluation index array generating unit 109.
  • the evaluation index array generation unit 109 selects the pitch coefficient ⁇ ′ used for generating the development image of the evaluation pattern 1801 based on the input value. For example, when performing the minimum value search, the evaluation index array generation unit 109 selects the first sheet of the N developing patterns so as to correspond to the focus position equal to or less than the minimum value, and the Nth sheet of the maximum value. An arbitrary or predetermined value is selected so as to correspond to the above focus position.
  • the minimum value (Depth Min) of the input distance measurement range is the center value of the smoothing range where the focus distance is the shortest, and the maximum value (Depth Max) of the distance measurement range is the longest focus distance. It is the median of the smoothing range.
  • the evaluation index array generation unit 109 selects the first development pattern of the two development patterns so as to correspond to the focus position of the minimum value or less, and the second development pattern of the maximum development pattern. Select to correspond to the focus position above the value. Also, for the smoothing range (focus width that each area is in charge of), the evaluation index array generation unit 109 uses the input smoothing range (Depth Averaging Range). Further, for the degree of overlap of the smoothing ranges, that is, the distance between the medians of the respective smoothing ranges, the evaluation index array generation unit 109 uses the input smoothing resolution (Depth Resolution).
  • the evaluation index array generation unit 109 accepts a value that specifies the focus range, such as a ratio to the focus position, in addition to the value of the focus range itself as the input smoothing range, as shown in FIGS. 57 and 58. You may create a smoothing pattern in such a smoothing range.
  • the smoothing may be performed in the stacking direction, and the two-dimensional arrays forming the evaluation index array may have different smoothing ranges in the depth direction (stacking direction) or may be smoothed in the stacking direction.
  • the conversion range may be narrower as the focus distance is shorter, or may be wider as the focus distance is shorter.
  • the fourth embodiment it is possible to expand the range of the focus position by using the smoothing pattern in which the development patterns in the depth direction (subject direction) are overlapped, and it is possible to increase the focus range. It is possible to realize accurate distance measurement.
  • a distance measuring device according to a fifth embodiment of the present invention will be described.
  • the distance measuring device according to the fifth embodiment is configured similarly to the distance measuring device 101 (FIG. 1), except that smoothing of the complex information array in the plane is performed.
  • FIG. 60 is a diagram showing a profile of a complex developed image.
  • a line 6001 shows a cross-sectional plot of the imaginary part of the complex developed image developed with the developing pattern in which ⁇ ′> ⁇ 0 at the time of point light source imaging.
  • the imaginary part of the complex developed image has a characteristic that it vibrates as it moves away from the center and the sign is inverted, there are pixels (hereinafter, zero point) whose value is zero even when the image is out of focus on the surface. .. Pixels corresponding to these zero points may cause an error in the distance measurement result, so it is desirable to suppress the influence of the zero points.
  • FIG. 38 shows an example of the configuration within the evaluation index array conversion unit.
  • the evaluation index array conversion unit 3604 of the evaluation index array generation unit 109 includes a smoothing kernel generation unit 3801, a smoothing kernel storage unit 3802, an imaginary part absolute value conversion unit 3803, and an in-plane smoothing calculation unit 3804. Including.
  • the complex information array 3701 input from the cross-correlation calculation unit 3603 is input to the imaginary part absolute value conversion unit 3803.
  • the imaginary part absolute value conversion unit 3803 outputs the absolute value of the imaginary part of each complex developed image in the complex information array 3701.
  • the imaginary part absolute value conversion unit 3803 changes the imaginary part absolute value array shown by the line 6002 shown in FIG. Output. There may still be a zero point at the output of line 6002. Therefore, the in-plane smoothing operation unit 3804 performs in-plane smoothing by operation using the smoothing kernel stored in the smoothing kernel storage unit 3802, and the zero point shown by the line 6003 in FIG. 60 is removed.
  • the imaginary part absolute value smoothing array is output as the evaluation index array 1603.
  • the zero point can be removed and the error of the distance information can be suppressed.
  • the smoothing kernel used for smoothing in the in-plane smoothing calculation unit 3804 is generated by the smoothing kernel generation unit 3801 according to the smoothing kernel width input from the distance measurement variable setting unit 111, It is stored in the smoothing kernel storage unit 3802, and is passed to the in-plane smoothing calculation unit 3804 in accordance with the smoothing processing in the in-plane smoothing calculation unit 3804.
  • the shape of the kernel function generated by the smoothing kernel generation unit 3801 can be determined based on the input from the distance measurement variable setting unit 111. For example, the smoothing kernel generation unit 3801 determines the smoothing kernel as in the example of FIG.
  • FIG. 61 is a diagram showing an example of the smoothing kernel.
  • the smoothing kernel generation unit 3801 may determine a rectangular or cylindrical kernel function as shown in the cross section plot 6101, or may determine a pyramidal kernel function as shown in the cross section plot 6102. Alternatively, a Gaussian function type kernel function as shown in the cross section plot 6103 may be determined.
  • the smoothing kernel generation unit 3801 also determines the kernel width of the smoothing kernel based on the input from the distance measurement variable setting unit 111 as in the example of FIG.
  • FIG. 62 is a diagram showing an example of the kernel width of the smoothing kernel.
  • the width of the line 6001 of the complex developed image shown in FIG. 60 is generally inversely proportional to the pitch coefficient ⁇ ′ of the developing pattern. Therefore, a smoothing kernel having a kernel width shown in FIG. 62 may be created for each of the plurality of development patterns ⁇ ′ generated by the evaluation pattern generation unit 3601.
  • the smoothing kernel generation unit 3801 uses the representative ⁇ ′ in the smoothing range as the basis. You can determine the kernel width to. Note that the same smoothing kernel pattern may be used for smoothing the imaginary part absolute values of all complex developed images.
  • FIG. 66 is a flowchart illustrating an example of distance measurement processing by in-plane smoothing.
  • the evaluation pattern generation unit 3601 generates the evaluation pattern 1801.
  • step 6602 the smoothing kernel generation unit 3801 generates a smoothing kernel and stores it in the smoothing kernel storage unit 3802. Then, in step 6603, the image sensor 103 acquires a sensor image. In step 6604, the complex sensor image generation unit 108 generates the complex sensor image 1602 using the sensor image acquired by the image sensor 103.
  • step 6605 the cross-correlation calculation unit 3603 performs cross-correlation calculation on the complex sensor image 1602 and the evaluation pattern 1801 to generate a complex information array 3701.
  • step 6606 the imaginary part absolute value conversion unit 3803 extracts the imaginary part absolute value of the complex information array 3701, and the in-plane smoothing calculation unit 3804 generates the imaginary part absolute value of the complex information array 3701 in step 6602. Smoothing is performed using a smoothing kernel to generate an evaluation index array 1603.
  • step 6607 the distance information generation unit 110 generates distance information using the evaluation index array 1603 and outputs it.
  • the above is an example of distance measurement processing when in-plane smoothing is performed using a smoothing kernel.
  • the development pattern forming the evaluation pattern 1801 generated in step 6601 may be a pattern similar to the photographing pattern, or may be a pattern similar to the photographing pattern described in the fourth embodiment. It may be a smoothing pattern obtained by adding a plurality of patterns.
  • timing of generating the smoothing kernel in step 6602 is not limited to the timing immediately after the step 6601, and may be performed at any time before the step 6606 is performed.
  • a distance measuring device according to a sixth embodiment of the present invention will be described.
  • the distance measuring device according to the sixth embodiment is configured similarly to the distance measuring device 101 (FIG. 1), but is different in that in-plane differential calculation is performed on the complex developed image.
  • FIG. 63 is a diagram showing an example of a profile of a complex developed image.
  • This profile shows the appearance of the imaginary part of the complex developed image when a general subject (landscape, etc.) is photographed.
  • the imaginary part of the complex developed image in ⁇ ′ ⁇ 0 has a left-right asymmetrical shape as shown in the plot 6302.
  • the imaginary part of the complex developed image when ⁇ ′> ⁇ 0 has an asymmetric shape in which the left and right sides of the plot 6302 are reversed as shown in the plot 6303.
  • the left side area of the step response 6301 is not always zero, and therefore the offset component 6304 is added as a floor to the imaginary part of the complex developed image.
  • the value of the complex developed image does not change with respect to ⁇ ′ at the edge portion of the step response 6301 (vertical broken line in the figure), so that the above-mentioned minimum value search and distance information generation by calculation of the zero crossing point cannot be performed. Absent. Further, outside the edge (on the left side), the value of the distance information becomes larger than the actual distance regardless of whether the minimum value search or the zero-crossing point calculation is used due to the influence of the offset component 6304. On the other hand, inside the edge (on the right side), the value of the distance information becomes smaller than the actual distance regardless of whether the minimum value search or the zero-crossing point calculation is used due to the influence of the offset component 6304.
  • FIG. 64 is a diagram showing an example of differentiating the profile of the complex developed image. As shown in FIG. 64, even with the profile of the general subject shown in FIG. 63, the asymmetry and the offset component of the edge portion of the complex developed image can be removed by differentiating the complex developed image. Therefore, the generation of the distance information at the edge portion and the error of the distance information inside and outside the edge can be solved at the same time.
  • the cross-correlation calculation unit 3603 performs cross-correlation calculation using a complex differential pattern and a complex sensor image. A method of generating such a complex differential pattern will be described with reference to FIG.
  • FIG. 65 is a diagram showing an example of complex differential pattern generation.
  • the complex differential pattern can be said to be an example of the development pattern 801 of the evaluation pattern 1801.
  • the evaluation pattern generation unit 3601 uses, as the real part of the development pattern, the difference between the pattern 6501 having a pitch coefficient ⁇ ′ that is similar to the shooting pattern 105 and the pattern 6502 and the pattern 6502 having the same pitch coefficient, and A differential pattern 6503 is generated.
  • the pattern centers of the pattern 6501 and the pattern 6502 are displaced in at least one pixel in any direction.
  • the evaluation pattern generation unit 3601 uses, as the imaginary part of the development pattern, the difference between the pattern 6504 having a pitch coefficient ⁇ ′ similar to the imaging pattern 105 and the pattern 6504 and the pattern 6505 having the same pitch coefficient, A differential pattern 6506 is generated.
  • the pattern center of the imaginary part pattern 6504 coincides with the pattern center of the real part pattern 6501
  • the pattern center of the imaginary part pattern 6505 coincides with the pattern center of the real part pattern 6502.
  • the cross-correlation calculation unit 3603 performs cross-correlation calculation with the complex sensor image 1602 by using the complex differential pattern including the complex differential patterns 6503 and 6506 generated as described above, thereby obtaining a profile as shown in FIG. A complex developed image having Then, by generating the evaluation index array 1603 using the differentiated complex developed image, it is possible to improve the accuracy of the distance information generated by the distance information generating unit 110, particularly the accuracy of the distance information of the edge portion. Become.
  • the process of applying the differential filter after the complex developed image is generated can be omitted. That is, the processing load and time for each frame can be reduced.
  • the distance measurement flow using the above complex differential pattern is basically the same as the flow shown in FIG. Part of the difference is that the evaluation pattern 1801 generated in step 2701 is a complex differential pattern.
  • the smoothing in the depth direction by the cross-correlation calculation using the smoothing pattern or the in-plane smoothing using the smoothing kernel or Both may be applied in combination.
  • the seventh embodiment is an embodiment relating to a distance measuring device that combines smoothing in the depth direction with a smoothing pattern according to the fourth embodiment and calculation with a complex differential pattern according to the sixth embodiment. Is. A method for generating an evaluation pattern executed by the distance measuring device according to the seventh embodiment will be described below.
  • the evaluation pattern according to the seventh embodiment is generated by the evaluation pattern generation unit 3601 in step 2701 shown in FIG. Specifically, as illustrated in FIG. 67, the evaluation pattern generation unit 3601 adds a plurality of complex differential patterns generated from patterns having different pitch coefficients ⁇ ′ for both the real part and the imaginary part of the evaluation pattern 1801. Then, a differential smoothing pattern is generated.
  • FIG. 67 is a diagram showing an example of differential smoothing pattern generation.
  • the evaluation pattern generation unit 3601 adds the differential smoothing pattern 6705 generated by adding the real parts 6701 to 6704 of the complex differential pattern as the real part of the development pattern of the evaluation pattern 1801. To generate.
  • the evaluation pattern generation unit 3601 generates a differential smoothing pattern 6710 generated by adding the imaginary parts 6706 to 6709 of the complex differential pattern as the imaginary part of the development pattern of the evaluation pattern 1801.
  • the pitch coefficients of the two patterns used to create each of the complex differential patterns 6701 to 6704 are different from each other in each of the complex differential patterns 6701 to 6704.
  • the complex differential pattern 6706 of the imaginary part corresponding to the complex differential pattern 6701 of the real part is generated from the pattern of the same pitch coefficient. The same applies to the complex differential patterns 6702 to 6704 and the complex differential patterns 6707 to 6709.
  • the differential smoothing pattern 6705 and the differential smoothing pattern 6710 are not limited to four differential patterns each, and any number of two or more differential patterns may be used. It doesn't matter.
  • the differential smoothing pattern may be directly generated by integrating the equation (3) with respect to ⁇ and performing differential processing. By doing so, the amount of calculation can be suppressed.
  • the distance measuring device According to the distance measuring device according to the seventh embodiment, the range of the focus position can be expanded and the distance can be measured with high accuracy even when there is an edge.
  • smoothing in the depth direction in the fourth embodiment, in-plane smoothing by a smoothing filter using a smoothing cursor in the fifth embodiment, and in the sixth embodiment 3 is an embodiment of a distance measuring device that combines a calculation with a complex differential pattern in the embodiment. A method of generating an evaluation pattern performed by the distance measuring device according to the eighth embodiment will be described below with reference to FIG. 66.
  • the evaluation pattern according to the eighth embodiment is generated as a complex differential pattern or a differential smoothing pattern by the evaluation pattern generation unit 3601 in step 6601 shown in FIG. Specifically, the evaluation pattern generation unit 3601 shifts the center of the pattern having the same pitch coefficient ⁇ ′ in both the real part and the imaginary part of the evaluation pattern 1801 by one pixel or more in a predetermined direction to obtain a complex difference. Generate a differential pattern. Alternatively, the evaluation pattern generation unit 3601 adds a plurality of complex differential patterns generated from patterns having different pitch coefficients ⁇ ′ for both the real part and the imaginary part of the evaluation pattern 1801 to generate a differential smoothing pattern. ..
  • FIG. 69 is a diagram showing another example of the differential pattern.
  • the evaluation pattern generation unit 3601 may generate the difference between two patterns by shifting it by one pixel or more in the vertical direction, or may shift by one pixel or more in the diagonal direction to calculate the difference of two patterns. May be generated.
  • the evaluation pattern generation unit 3601 may be generated by a convolution operation with the Laplacian kernel shown in the following equations (12) and (13).
  • the distance measuring device As described above, according to the distance measuring device according to the eighth embodiment, it is possible to measure the distance quickly and accurately while suppressing the calculation amount.
  • the distance measuring method of the distance measuring device according to the ninth embodiment is basically the same as the distance measuring method of the distance measuring device according to the first embodiment, but there are some differences. The difference will be mainly described below.
  • FIG. 68 is a flowchart illustrating an example of distance measurement processing.
  • the evaluation pattern generation unit 3601 generates two or more (for example, two types) evaluation patterns in step 6801, and uses one of them and the complex sensor image 1602 in steps 6803 to 6806.
  • Cross-correlation calculation is performed to calculate distance information 1.
  • the distance information 2 is calculated by performing a cross-correlation calculation using the remaining one in steps 6807 to 6809 and the complex sensor image 1602.
  • distance information is calculated similarly for the remaining evaluation patterns.
  • the distance information 1 and the distance information 2 are integrated and output as one piece of distance information.
  • the integration method for example, a method of calculating an average value of the distance information 1 and the distance information 2 in the same pixel can be considered.
  • a plurality of pieces of distance information are obtained, they can be integrated using various statistical values such as the average value, mode value, and median value.
  • evaluation pattern generation unit 3601 may generate a plurality of evaluation patterns that are differentiated in different directions in the in-plane direction in step 6801.
  • the above is an example of the distance measuring device according to the ninth embodiment. With the distance measuring device according to the ninth embodiment, more accurate distance information can be obtained.
  • each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • the above-described respective configurations, functions and the like may be realized by software by the processor interpreting and executing a program for realizing each function.
  • Information such as a program, a table, and a file that realizes each function can be placed in a memory, a hard disk, a recording device such as SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
  • control lines and information lines are shown to be necessary for explanation, and not all control lines and information lines are shown on the product. In practice, it may be considered that almost all configurations are connected to each other.
  • 101... Distance measuring device 102... Imaging unit, 103... Image sensor, 103a... Pixel, 104... Pattern substrate, 105... Imaging pattern, 106... Image processing unit , 107... Controller, 108... Complex sensor image generation unit, 109... Evaluation index array generation unit, 110... Distance information generation unit, 111... Distance measurement variable setting unit, 801,... Development pattern, 1201... Shooting pattern, 1202... Modulator control unit, 1301... Shooting pattern, 1302... Image dividing unit, 1401... Point, 1402... Projected image, 1501... Point, 1502... Projected image, 1601... Sensor image, 1602... Complex sensor image, 1603... Evaluation index array, 1801... Evaluation pattern, 1901...

Abstract

正確な距離情報を生成する。　距離計測装置であって、画像センサと、撮影用パターンに基づき画像センサ上に投影される光の強度を変調する変調器と、センサ画像から複素センサ画像を生成する複素センサ画像生成部と、複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列生成部と、評価指標配列を用いて距離情報を生成する距離情報生成部と、を有し、評価指標配列生成部は、ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、複素センサ画像と評価用パターンとを用いて複数の現像画像を生成し、複数の現像画像をピント距離が近い順に積層させて平面および奥行き方向を有する三次元の複素情報配列を生成し、複素情報配列について三次元の少なくとも一つの方向に平滑化した二次元配列を複数積層させた三次元配列を評価指標配列とする。

Description

距離計測装置および距離計測方法
　本発明は、距離計測装置および距離計測方法に関する。本発明は2018年12月26日に出願された日本国特許の出願番号2018-242875の優先権を主張し、文献の参照による織り込みが認められる指定国については、その出願に記載された内容は参照により本出願に織り込まれる。
　特許文献１には、撮影後のフォーカス調整（リフォーカス）、オートフォーカス、測距等を行う高機能な撮像装置を実現するための構成として、「撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像センサから出力される画像信号を、複数の同心円から構成される第２の格子パターンで変調することでモアレ縞画像を生成する」ことを特徴とする撮像装置が開示されている。
国際公開第２０１７／１４９６８７号
　特許文献１に記載の撮像装置では、距離計測を行うため、撮像結果のコントラストの高低を基に距離情報を抽出している。しかし、当該発明の撮像装置の構成では、正確な距離情報を生成することが困難である。
　本発明は、このような状況に鑑みてなされたものであり、撮像装置等の距離計測演算において、正確な距離情報を生成できるようにすることを目的とする。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る距離計測装置は、光を電気信号に変換し、センサ画像を生成する画像センサと、撮影用パターンに基づいて上記画像センサ上に投影される光の強度を変調する変調器と、上記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成部と、上記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列生成部と、上記評価指標配列を用いて距離情報を生成する距離情報生成部と、を有し、上記評価指標配列生成部は、ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、上記複素センサ画像と複数の上記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、上記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、上記複素情報配列について上記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を上記積層方向に積層させた三次元配列を上記評価指標配列とすることを特徴とする。
　本発明によれば、正確な距離情報を生成することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る第１の実施形態である距離計測装置の構成例を示すブロック図である。 撮像部の構成例を示す図である。 撮像部の他の構成例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じさせることを説明するための図である。 撮影用パターンの一例の投影像を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの例を示す図である。 撮影用パターンの一例を示す図である。 時分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 空間分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 物体が無限距離にある場合に撮影用パターンが投影されることを示す図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを示す図である。 複素センサ画像の生成方法を示す図である。 複素センサ画像の例を示す図である。 評価用パターンの例を示す図である。 距離計測の一例を示す図である。 評価指標配列の例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 距離計測処理の一例を説明するフローチャートである。 評価指標配列をサンプリングする様子の一例を示す図である。 距離情報をデータ変換した距離画像の一例を示す図である。 複素センサ画像生成方法の一例を示す図である。 本発明に係る第２の実施形態である距離計測装置の構成例を示すブロック図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。 複素センサ画像と評価用パターンの相互相関演算結果の位相角をピッチ係数β’に対してプロットした結果の一例を示す図である。 評価指標配列生成部の構成の一例を示すブロック図である。 複素情報配列の生成方法の一例を示す図である。 評価指標配列変換部の構成の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 液晶表示素子における透明電極の一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。 平滑化パターン生成の様子の一例を示す図である。 平滑化されていない評価用パターンを用いた場合の複素情報配列の一例を示す図である。 平滑化パターンを用いた場合の複素情報配列の一例を示す図である。 加重平滑化パターン生成の様子の一例を示す図である。 加重平滑化パターン生成の重み付けの一例を示す図である。 距離計測ソフトウェアのユーザーインターフェースの一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 奥行き方向の平滑化パターン生成の一例を示す図である。 複素現像画像のプロファイルを示す図である。 平滑化カーネルの一例を示す図である。 平滑化カーネルのカーネル幅の一例を示す図である。 複素現像画像のプロファイルの一例を示す図である。 複素現像画像のプロファイルを微分した一例を示す図である。 複素微分パターン生成の一例を示す図である。 面内平滑化による距離計測処理の一例を説明するフローチャートである。 微分平滑化パターン生成の一例を示す図である。 距離計測処理の一例を説明するフローチャートである。 微分パターンの他の例を示す図である。
　以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
　また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
　さらに、各実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。また、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　以下、本発明の実施例について図面を用いて説明する。
＜第一の実施の形態＞
＜無限遠物体の撮影原理＞
　図１は、本発明に係る第一の実施の形態である距離計測装置１０１の構成例を示している。
　距離計測装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、撮像部１０２、画像処理部１０６、コントローラ１０７、および距離計測変数設定部１１１から構成されている。
　画像処理部１０６は、複素センサ画像生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０を有する。
　図２は、撮像部の構成例を示す図である。撮像部１０２は、画像センサ１０３、パターン基板１０４、撮影用パターン１０５から構成されている。
　パターン基板１０４は、その一方の平面が画像センサ１０３の受光面に密着して固定されており、他方の平面には撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。
　撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
　なお、撮影用パターン１０５の形成はこれに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、パターン基板１０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン１０５は遮断する材料を用いればよい。
　なお、ここでは撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、図３に示すように形成してもよい。
　図３は、撮像部の他の構成例を示す図である。撮像部１０２は、撮影用パターン１０５を薄膜に形成し、支持部材３０１により保持されている。なお、距離計測装置１０１において、撮影画角はパターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が図３の構成であり支持部材３０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
　画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて出力される。
　以上の構成において、撮影する場合には、撮影用パターン１０５を透過する光は、そのパターンによって光強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３から出力された画像信号は、画像処理部１０６によって画像処理されたデータがコントローラ１０７に出力される。コントローラ１０７は、画像処理部１０６の出力をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ等のインターフェイスに適合するようデータ形式を変換し出力する。
　続いて、距離計測装置１０１における画像撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。ここで、撮影用パターン１０５を、同心円の中心である基準座標からの半径ｒ、ピッチ係数βを用いて、次式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
　撮影用パターン１０５は、式（１）に比例して透過率変調されているものとする。
　撮影用パターン１０５のような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４に式（１）のガボールゾーンプレート、図５に式（１）を閾値１で２値化したフレネルゾーンプレートの例を示す。
　なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。
　撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、図６に示すようにｘ軸方向に角度θ０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、次式（２）に示されるような強度分布を持つ当映像が画像センサ１０３上で検出される。
Figure JPOXMLDOC01-appb-M000002
　なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像は式（２）のようにｋシフトして投影される。これが撮像部１０２の出力となる。
　撮影した画像の現像では、撮影用パターン１０５の投影像（図７）と現像用パターン８０１（図８）との相互相関関数を演算することにより、シフト量ｋの輝点（図９）を得る。
　なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなってしまうので、演算量が少ないフーリエ変換を用いて演算する例について、数式を用いて原理を説明する。
　まず、現像用パターン８０１は、撮影用パターン１０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン８０１は、初期位相Φを用いて、次式（３）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　現像用パターン８０１は、画像処理部１０６による画像処理で使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。
　式（２）、（３）のフーリエ変換は、それぞれ次式（４）、（５）のようになる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。式（４）、（５）で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、式（４）、（５）に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減することが可能である。
　次に、式（４）と式（５）を乗算して次式（６）を得る。
Figure JPOXMLDOC01-appb-M000006
　式（６）における指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、次式（７）のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。
Figure JPOXMLDOC01-appb-M000007
　この輝点が無限遠の光束を示しており、距離計測装置１０１による撮影像となる。
　なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
〈ノイズキャンセル〉
　ところで、上述した式（６）から式（７）への変換については、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害してノイズを生じさせてしまう。そこで、フリンジスキャンに基づくノイズキャンセルを行う。具体的には、三角関数の直交性を利用して、次式（８）に示されるように、式（６）の乗算結果を初期位相Φに関して積分すると、ノイズ項がキャンセルされて、信号項の定数倍だけを残すことができる。
Figure JPOXMLDOC01-appb-M000008
　なお、式（８）は積分の形で示しているが、実際には、図１０に示す複数種類（同図の場合４種類）の初期位相Φ（Φ＝０，Φ＝π／２，Φ＝π，Φ＝３π／２）の組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、位相Φは、０～２πの間の角度を等分するように設定すればよい。
　以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相Φが異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
　時分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１２に示す。撮影用パターン１２０１としては、図１０に示された複数の初期位相Φを電気的に切り替えて表示することが可能な液晶表示素子などを用いればよい。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを変調器制御部１２０２で同期して制御し、４枚の画像を取得後、フリンジスキャン演算を実施する。
　なお、液晶表示素子を用いてフリンジスキャンを行う場合、液晶表示素子を駆動する電極は、例えば図４２に示すように構成すればよい。該電極は、撮影用パターン１０５の１周期を４分割するように同心円状透明電極が構成されており、内側から４本おきに外側の電極と結線されて、最終的に端子部４２０１では電極の駆動端子として４本の電極が出力されている。なお、撮影用パターン１０５の１周期は図４で示した撮影用パターンの白い円環と隣り合う黒い円環（もしくは黒い円）の一セット分にあたる。これらに所定の電圧を印加して実際に初期位相を可変するには、４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替え、図４３に示す初期位相Φ＝０の状態、図４４に示す初期位相Φ＝π／２の状態、図４５に示す初期位相Φ＝πの状態、図４６に示す初期位相Φ＝３π／２の状態を表示し、液晶表示素子における光透過率を変化させることで実現している。
　対して、空間分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１３に示す。撮影用パターン１３０１としては、図１１に示す複数の初期位相を有する撮影用パターン１３０１を使用すればよい。そして、１枚の画像を取得後、画像分割部１３０２においてそれぞれの初期位相のパターンに対応して４枚に分割した後、フリンジスキャン演算を実施する。
＜距離計測原理＞
　図１４は、これまで述べた被写体が遠い場合（物体が無限距離にある場合）における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１４０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状となる。よって、投影像１４０２に対して、現像用パターン８０１を用いて現像処理を行うことにより、単一の輝点を得ることが可能である。続けて、有限距離の物体に対する撮像について説明する。
　図１５は、撮像する物体が有限距離にある場合に、撮影用パターン１０５の画像センサ１０３への射影が撮影用パターン１０５より拡大されることを示す図である。物体を構成する点１５０１からの球面波が撮影用パターン１０５を照射し、その投影像１５０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、投影像と撮影用パターンのサイズ比αは、撮影用パターン１０５から点１５０１までの距離ｆを用いて、次式（９）のように算出できる。
Figure JPOXMLDOC01-appb-M000009
　そのため、平行光に対して設計された現像用パターン８０１をそのまま用いて現像処理したのでは、ピントの合った画像が現像できない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン８０１に次式（１０）に示すピッチ係数β’を乗算して拡大させれば、ピントの合った画像の現像が可能となる。
Figure JPOXMLDOC01-appb-M000010
　したがって、現像時にピントの合った画像が再生できる現像用パターン８０１の拡大率α２を求めることで、撮影対象までの距離を計測することが可能となる。
　通常のカメラで撮影した画像のピントのボケを基に距離計測を行うレンズ焦点法では、主に画像のコントラストが高くなるピント位置を算出することで距離情報を抽出するが、距離計測装置１０１では、点広がり関数が通常のカメラのようなガウス関数型形状でなく、正負に振動するＳｉｎｃ関数型の形状をしている。このため、単純に画像のコントラストを基に距離情報を抽出する方法では、抽出した距離情報に含まれる誤差が大きくなり、高精度な距離計測が出来ない。
　そこで、距離計測装置１０１では、現像画像のコントラストとは異なる評価指標を用いてピントの合う現像用パターン８０１の拡大率α２を求め、その拡大率α２を基に距離情報を抽出するようにする。
　以上のように構成される距離計測装置１０１による距離計測方法を説明する。距離計測装置１０１では、画像センサ１０３で生成したセンサ画像（画像信号）を画像処理部１０６に供給し、所定の画像処理によって距離情報を生成する。なお、図１２に示した時分割フリンジスキャンを行う場合の構成では、変調器制御部１２０２で撮影用パターン１２０１に、図１０に示された複数の初期位相Φを切り替えて表示して４枚の画像を撮影し、画像処理部１０６に４枚のセンサ画像を供給する。
　一方、図１３に示した空間分割フリンジスキャンを行う場合の構成では、画像分割部１３０２で、１枚のセンサ画像を４つの領域に分割して、図１０に示された複数の初期位相Φで撮影したセンサ画像を生成した後に画像処理部１０６へとセンサ画像を供給する。
　画像処理部１０６は、複素センサ画像生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０が順次、所定の処理を実施する。すなわち、複素センサ画像生成部１０８は、画像センサ１０３の出力であるセンサ画像１６０１に基づいて、複素センサ画像１６０２を生成する。
　図１６は、複素センサ画像の生成方法を示す図である。ここで、４つのセンサ画像をＩＳ１、ＩＳ２、ＩＳ３、ＩＳ４、各センサ画像に対応した撮影用パターン１０５の初期位相をΦ１、Φ２、Φ３、Φ４、とする。たとえば、図１０や図１１に示した撮影用パターンを使用する場合は、Φ１＝０、Φ２＝π／２、Φ３＝π、Φ４＝３π／２としうる。複素センサ画像生成部１０８は、画像センサ１０３の出力である４つのセンサ画像１６０１に基づいて、複素センサ画像１６０２を生成する。そして、次式（１１）に示すように、各センサ画像にそれぞれｅｘｐ（ｉΦ１）、ｅｘｐ（ｉΦ２）、ｅｘｐ（ｉΦ３）、ｅｘｐ（ｉΦ４）を乗算した結果を加算することで複素センサ画像１６０２を生成する。
Figure JPOXMLDOC01-appb-M000011
　次に、評価指標配列生成部１０９は、複素センサ画像生成部１０８の出力である複素センサ画像１６０２に基づいて、評価指標配列１６０３を生成する。評価指標配列１６０３の生成方法について、図１７、図１８、図２０～２５、図３６、図３７を参照して説明する。
　図１７は、複素センサ画像の例を示す図である。被写体が点光源であった場合、複素センサ画像１６０２は、実部と虚部からなる情報となる。
　拡大率α２で撮影用パターン１０５を拡大した場合のピッチ係数をβ’とした場合、評価指標配列生成部１０９では、図１８に示すようにβ’を変化させながら（β’＞β０，β’＝β０，β’＜β０）評価指標配列生成用パターン１８０１と、複素センサ画像１６０２との相互相関演算を行う。図２１乃至図２５は、その相互相関演算結果の例を示している。
　図３６は、評価指標配列生成部の構成の一例を示すブロック図である。評価指標配列生成部１０９は、評価用パターン生成部３６０１と、評価用パターン格納部３６０２と、相互相関演算部３６０３と、評価指標配列変換部３６０４と、を含む。
　評価用パターン生成部３６０１は、評価用に、異なるピッチ係数β’の現像用パターン８０１を複数枚生成する。この評価用の複数の現像用パターンは、評価指標配列生成用パターン（以後、評価用パターンと称呼することもある）１８０１である。なお、評価用パターン生成部３６０１は、距離計測変数設定部１１１からの入力を用いて、現像用パターン８０１のピッチ係数β’を決定する。
　評価用パターン生成部３６０１は、生成された評価用パターン１８０１を評価用パターン格納部３６０２に格納する。評価用パターン格納部３６０２は、読み書き可能な記憶領域であり、例えば不揮発性記憶素子により実現されうる。
　相互相関演算部３６０３は、複素センサ画像生成部１０８から入力された複素センサ画像１６０２が入力される都度、評価用パターン格納部３６０２から評価用パターン１８０１を読み込む。
　図３７は、複素情報配列の生成方法の一例を示す図である。相互相関演算部３６０３は、図３７に示すように、複素センサ画像１６０２ごとに、評価用パターン１８０１内のすべてのパターンとの相互相関演算を行い、複素現像画像を生成し、複素現像画像の配列である複素情報配列３７０１を生成する。
　たとえば、評価用パターン１８０１がＮ（Ｎは自然数）枚のパターン（ピッチ係数がそれぞれβ’１、β’２、・・・、β’Ｎ）からなる場合、相互相関演算部３６０３は一つの複素センサ画像１６０２に対してＮ枚の評価用パターン１８０１との相互相関演算を都合Ｎ回行い、Ｎ枚の複素現像画像を生成する。相互相関演算部３６０３は、Ｎ枚の複素現像画像を奥行き方向（距離計測装置１０１からみた被写体１９０１の方向の延長上にて距離計測装置１０１からのピント距離が近い順に積層させた積層方向）にスタック（積層）した３次元の複素情報配列３７０１として出力する。
　評価指標配列変換部３６０４は、複素情報配列３７０１を用いて、距離計測の評価指標として使用される評価指標配列１６０３を生成し出力する。評価指標配列１６０３は、図２０にその例が示されている。
　図２０は、評価指標配列の例を示す図である。評価指標配列１６０３は、奥行き方向の情報に応じて２次元の画像情報の評価配列を有する、３次元配列である。
　図１８に示すように、評価用パターン生成部３６０１が生成する異なるピッチ係数β’の現像用パターン８０１に関して、ピッチ係数β０は、センサ画像１６０１に投影された撮影用パターン投影像の係数である。図２１乃至図２５に示された相互相関演算の結果で注目すべきは、ピッチ係数β’がピッチ係数β０と一致する場合には、破線で示した相互相関演算結果の虚数成分がゼロになり、ピッチ係数の差が増加するにつれて虚数成分の振幅が増加する点である。よって、この虚数成分がゼロとなるピッチ係数β’を探索することが、後述する距離情報生成部１１０における処理となる。
　そこで、評価指標配列変換部３６０４では、複素情報配列３７０１の虚部絶対値を評価指標配列１６０３に格納、出力する。なお、複素情報配列３７０１内の各複素現像画像の画素数がＬ×Ｍであるとすると、図２０に示す通り、評価指標配列１６０３はＮ枚のＬ×Ｍの２次元配列から構成される３次元配列となる。
　最後に、距離情報生成部１１０は、評価指標配列変換部３６０４の出力である評価指標配列１６０３に基づいて距離情報２９０１を生成する。前述したように評価指標配列１６０３はピッチ係数β’がピッチ係数β０と一致する場合にゼロとなるが、一般の被写体の場合にはゼロにはならないことがある。
　図２６は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。いいかえると、図２６は、評価指標配列１６０３のある要素における、ピッチ係数β’依存性を示している。
　図２６は、図２０に示されたＮ枚のＬ×Ｍ配列の中から、それぞれ(ｌ、ｍ)番目の配列要素２００１、２００２、２００３を抜き出し、これらＮ個の配列要素をプロットすることで作成する。
　図２６から、周囲の要素の影響により、評価指標配列１６０３の配列要素はゼロにならないが、β’＝β０となる条件で最小値を示すことを読み取ることができる。このように、評価指標配列１６０３の配列要素が最小値となる点のβ’から、式（１０）を満たす拡大率α２が求まり、式（９）から被写体１９０１までの距離ｆを算出することが出来る。
　コントローラ１０７は、距離情報生成部１１０の出力である距離情報２９０１を用途に応じたデータ変換を行なって出力する。例えば、図１９に示すように、被写体１９０１を撮影したセンサ画像を基に距離情報２９０１を生成し、ディスプレイに距離画像を表示する場合、図２９のような距離画像にデータ変換して出力する。この場合、図２９の距離画像のうち、被写体１９０１に対応する領域２９０２の距離情報は被写体までの距離ｆとして出力される。なお、図２９に示したように、コントローラ１０７は出力する距離画像として、距離情報２９０１と撮影対象を撮影した通常画像をオーバーラップしたものを出力してもよい。また、距離情報２９０１を機械装置の制御に用いる場合は、距離情報２９０１から目的とする制御量を達成するための操作量を算出し、算出した操作量を出力してもよい。また、ユーザーインターフェースを介して距離計測変数を距離計測変数設定部１１１に入力し、その入力変数に応じてコントローラ１０７から出力されるデータのデータ形式を変更しても良い。
　図２７は、距離計測処理の一例を説明するフローチャートである。距離計測処理が開始されると、はじめに、ステップ２７０１において、評価用パターン生成部３６０１は、β’の異なるＮ個の現像用パターン８０１からなる評価用パターン１８０１を生成する。
　次に、ステップ２７０２において、画像センサ１０３がセンサ画像１６０１を取得する。そして、ステップ２７０３において、複素センサ画像生成部１０８は、ステップ２７０２で取得したセンサ画像１６０１を基に複素センサ画像１６０２を生成する。
　そして、ステップ２７０４において、相互相関演算部３６０３は、ステップ２７０３で生成された複素センサ画像１６０２と、ステップ２７０１で生成された評価用パターン１８０１と、の間で図３７のように相互相関演算を行い、複素現像画像を複数含む複素情報配列３７０１を生成する。
　そして、ステップ２７０５において、評価指標配列変換部３６０４は、複素情報配列３７０１を基に評価指標配列１６０３を生成する。評価指標配列１６０３は図２０に示すような３次元配列として生成される。
　そして、ステップ２７０６において、距離情報生成部１１０は、ステップ２７０５で生成された評価指標配列１６０３を基に距離情報２９０１を生成し、距離情報２９０１をコントローラ１０７に出力して、距離計測処理を終了する。
　なお、図２６に曲線で示した評価指標配列１６０３の配列要素の値は、ステップ２７０１で生成した評価用パターン１８０１に含まれる現像用パターン８０１の枚数Ｎと、同数のＮ点のサンプリング点でサンプリングされるため、図２８に黒い点で示すように、β’に対して離散的に評価指標の値が求まる。ステップ２７０６では、サンプリングを行ったＮ個のβ’の中で評価指標が最小となるβ’を探索しても良い。また、図２８のデータ点数に対してカーブフィッティングや補間処理を行うことで、距離情報２９０１の精度を高めてもよい。
　なお、後述の説明では、センサ画像１６０１として４枚の画像を用いたが、図３０に示すように、少なくとも２枚の画像があれば、距離計測ができる。この場合、例えば、複素センサ画像生成部１０８は、センサ画像１６０１の２枚の画像からそれぞれの画像の低周波成分３００１、３００２を除去したセンサ画像３００３を生成した後に、複素センサ画像１６０２を生成する。低周波成分３００１、低周波成分３００２の除去は、例えばセンサ画像１６０１の平均輝度をオフセット除去することで行っても良いし、センサ画像１６０１にハイパスフィルター処理を行い、低周波成分を除去することで行っても良い。
　２枚のセンサ画像１６０１から距離計測を行うようにすれば、時分割フリンジスキャンの場合は、センサ画像の取得時間を短縮することが可能となり、空間分割フリンジスキャンの場合は、センサ画像の分割数を少なくすることで分割後のセンサ画像の解像度が向上し、距離情報２９０１の解像度を高めることが可能となる。
　なお、３枚のセンサ画像１６０１から距離計測を行っても良いし、５枚以上の画像を用いることでノイズをより低減させるようにしても良い。
　なお、低周波成分とは、センサ画像中に含まれる信号成分の空間周波数よりも低い周波数成分を指す。
　また、上述した説明では、複素情報配列３７０１の虚部絶対値を最小とするピッチ係数β’を求めたが、このほかにも、例えば、評価指標配列１６０３に、複素情報配列３７０１の虚部絶対値と実部絶対値の比を距離情報２９０１生成時の指標として用いても良い。この場合、評価指標配列１６０３の配列要素が最大もしくは最小となるピッチ係数β’をもとに距離情報２９０１が生成できる。
　また、複素情報配列３７０１の虚部絶対値の代わりに、複素情報配列３７０１の虚部を評価指標配列１６０３に格納しても良い。このようにすることで、評価指標配列１６０３の配列要素は正負の符号を有する値となり、一枚のＬ×Ｍ配列から、撮影対象の位置がピント位置に対して手前もしくは奥にあるなどの位置関係を判定することが可能となる。
　また、評価用パターン１８０１内の現像用パターン８０１生成に用いる複数のβ’の決定方法は、ユーザーインターフェースを介して距離計測変数設定部１１１に入力された距離計測レンジと距離計測分解能を基に、評価指標配列生成部１０９がβ’を選択し、図２８で示したサンプリング点の個数、間隔を決定しても良い。
　また、評価指標配列１６０３の生成では、複素センサ画像１６０２と現像用パターン８０１の相互相関演算を用いたが、複素センサ画像１６０２に対して、現像用パターン８０１を掛け合わせて図３９に示すようなモアレ縞を生成した後にモアレ縞のフーリエ変換を行うことで、評価指標配列１６０３を生成しても良い。
　また、撮影用パターン１０５や現像用パターン８０１として、図４や図５に示したガボールゾーンプレートやフレネルゾーンプレートを用いる構成で説明したが、図４０に示した楕円状のパターンを、撮影用パターン１０５や現像用パターン８０１として用いても良い。このような構成とすることで、画像センサ１０３として長方形のセンサを用いた場合でも、センサの縦横方向のサイズ、解像度に対して最適なピッチのパターンで撮影できるようになり、距離情報２９０１の解像度を最適化することが出来る。なお、楕円状のパターンで時分割フリンジスキャンを行う場合は、図４２で示した同心円状の透明電極パターンを楕円状のものに置き換えればよい。
　また、図４１に示すランダムパターンを撮影用パターン１０５や評価用パターン１８０１として用いても良い。このような構成とすることで、距離計測を行うための評価用パターン１８０１を秘匿化し、セキュリティを高めることが可能になる。
　以上に説明した構成・方法によれば、図１に示した簡単な構成の距離計測装置１０１において、被写体の距離情報を計測することができる。
＜第二の実施の形態＞
＜非探索型測距　最小値算出型＞
　図３１は、本発明に係る第二の実施形態である距離計測装置の構成例を示すブロック図である。第二の実施形態に係る距離計測装置１０１では、第一の実施形態に係る距離計測装置１０１と基本的に同一であるが、一部相違がある。具体的には、その相違は、第二の実施形態に係る距離計測装置１０１には、距離計測レンジ入力部３１０１が追加されており、評価指標配列が所定の条件を満たす評価指標配列生成用パターン１８０１のピッチ係数β’を非探索的に算出する。これにより高速に距離情報２９０１を生成するため、非探索型の距離計測を行うことができる。
　第二の実施の形態に係る距離計測装置１０１では、距離計測レンジ入力部３１０１は、ユーザーが入力する距離計測レンジを受け付けて距離計測変数設定部１１１に供給する。ユーザーは、例えば距離計測レンジのうち、最近距離ＬＮと、最遠距離ＬＦとを指定することにより距離計測レンジを入力する。
　距離計測変数設定部１１１は、最近距離ＬＮと最遠距離ＬＦに基づいて評価用パターン生成部３６０１で生成する評価用パターン１８０１に含まれる複数の現像用パターン８０１のピッチ係数を決定し、評価指標配列生成部１０９に出力する。
　評価指標配列生成部１０９では、決定されたピッチ係数に応じて評価用パターン生成部３６０１で評価用パターン１８０１を生成し、評価用パターン格納部３６０２に格納する。相互相関演算部３６０３は入力された複素センサ画像と評価用パターン１８０１内の各現像用パターン８０１の相互相関演算により、複素情報配列３７０１を生成し出力する。評価指標配列変換部３６０４は複素情報配列３７０１を基に評価指標配列１６０３を生成し出力する。
　距離情報生成部１１０は、評価指標配列生成部１０９の出力である評価指標配列１６０３を基に距離情報２９０１を生成する。
　図３２は、複素情報配列３７０１の虚部絶対値とサンプリング点の様子の一例を示す図である。
　距離情報生成部１１０は、サンプリング点３２０１～３２０４のみから距離情報２９０１を算出する。サンプリング点３２０１，３２０２における値は、ｆ＜ＬＮとなるようなβ’の現像用パターン８０１と複素センサ画像１６０２の相互相関演算で生成した複素現像画像の虚部絶対値であり、サンプリング点３２０３，３２０４の値は、ｆ＞ＬＦとなるようなβ’の現像用パターン８０１と複素センサ画像１６０２の相互相関演算で生成した複素現像画像の虚部絶対値である。
　距離情報生成部１１０は、これら４点の値を基に複素現像画像の虚部絶対値が最小になるβ’を算出する。例えば、サンプリング点３２０１，３２０２を通る直線３２０５を算出するとともに、サンプリング点３２０３，３２０４を通過する直線３２０６を算出し、直線３２０５と直線３２０６の交点を算出することで、複素現像画像の虚部絶対値が最小になるβ’を導出し、距離情報２９０１を生成してもよい。
　図３３は、複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。図３３に示すようにサンプリング点を３点に減らし、サンプリング点３３０１，３３０２を通過する直線３３０４を算出した後、直線３３０４の傾きの符号を反転させた傾きを持ち、点３３０３を通過する直線３３０５を算出し、直線３３０４と直線３３０５の交点から距離情報２９０１を生成してもよい。
　図３４は、複素情報配列の虚部絶対値とサンプリング点の様子の一例を示す図である。図３４に示すように、距離計測変数設定部１１１で、ＬＮ＜ｆ＜ＬＦとなるような３つのβ’を選んだのち、距離情報生成部１１０で、３点の評価指標であるサンプリング点３４０１～３４０３に対して放物線３４０４でカーブフィッティングを行うことで、距離情報２９０１を生成してもよい。
　以上説明したように、距離計測装置１０１は、図３２、図３３、図３４のようにサンプリング点を減らすことにより、図２８に示すような５点以上のサンプリング点による距離計測よりも精度は低下するものの、より高速に距離情報を生成することが可能となる。
　なお、非探索型測距により粗い精度の距離情報を生成した後に、高精度な探索型の距離情報生成を、非探索型測距により得られた狭い距離計測レンジ内で行うことで、距離情報生成速度と精度の向上を両立させてもよい。
＜第三の実施の形態＞
＜非探索型測距　ゼロ交差算出型＞
　本発明に係る第三の実施の形態である距離計測装置について説明する。第三の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、評価指標配列の位相角を基に距離情報を生成する点が異なる。
　非探索型測距よりもさらに少ないサンプリング点で距離情報２９０１を生成するためには、図３５に示すようなピッチ係数β’に対して線形に変化する評価指標配列を使用することが考えられる。
　図３５は、複素センサ画像１６０２と評価用パターン１８０１の相互相関演算結果の位相角を、評価用パターン１８０１のピッチ係数β’に対してプロットした結果を示す図である。
　たとえば、複素センサ画像１６０２と現像用パターン８０１の相互相関演算による複素現像画像の虚数成分および位相角は、β’＝β０を中心とした一定の領域でピッチ係数β’に対して線形に変化する。
　このため、評価指標配列生成部１０９において、複素センサ画像１６０２と任意の２つのβ’の現像用パターン８０１からなる評価用パターン１８０１の相互相関演算で得た複素情報配列３７０１の虚数成分もしくは位相角を評価指標配列１６０３とし、図３５に示すようにサンプリング点３５０１，３５０２の２点間を通過する直線３５０３を算出する。その後、直線３５０３がゼロと交差するβ’を算出し、距離情報２９０１を生成する。
　以上のように距離情報を生成すれば、評価指標配列１６０３生成に用いるピッチ係数β’を２つにまで低減することができ、高速な距離情報生成が可能となる。
　なお、距離情報生成部１１０は、評価指標配列要素の値を、ピッチ係数β’の代わりに、拡大率α２や距離ｆに対して線形に変化する値に変換し、拡大率α２を基に距離情報２９０１を生成して演算量を減らしてもよい。
＜第四の実施の形態＞
＜奥行き方向平滑化パターン＞
　本発明に係る第四の実施の形態である距離計測装置について説明する。第四の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、奥行き方向（被写体方向）の現像用パターンを重ねた平滑化パターンを用いることで、ピント位置の範囲を拡大する点において異なる。
　図４７は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。このように、評価指標配列１６０３の配列要素の値は、ピッチ係数β’、すなわちピント位置を変更すると所定の関数を描くように変化する。なお、当該グラフでは、実線は評価指標配列１６０３として複素情報配列３７０１の虚部を用いた場合を示し、破線は複素情報配列３７０１の虚部の絶対値を用いた場合を示している。
　最小値の探索を行う場合において、複素情報配列３７０１の中に、ｆ１以下（ｆ１より近接）もしくはｆ2以上（ｆ２より遠隔）の位置にピントを合わせた複素現像画像が含まれている場合は、評価指標配列１６０３の配列要素の値はｆ１以下もしくはｆ２以上の領域でほぼゼロになる。そのため、最小値がｆ１以下もしくはｆ２以上の領域で発見されると、誤った距離情報２９０１を出力してしまう可能性がある。
　また、上述のゼロ交差算出型の場合には、複素情報配列３７０１に含まれる２つの複素現像画像のピント位置がｆ３とｆ４の間の範囲外にあると、本来の合焦位置と無関係の位置でゼロ交差してしまう。そのため、本来の被写体距離と異なる距離情報２９０１が生成されてしまう可能性がある。
　これらの可能性を考慮して、本実施形態では、測距演算に使用可能なピント位置の範囲を拡大することで、より高精度な距離計測を実現する。
　第四の実施形態では、評価用パターン１８０１を構成する複数の現像用パターンとして、撮影用パターンと相似形で、ピッチ係数β’が異なる複数のパターンを加算して生成した平滑化パターンを用いる。これについて、図４９を用いて説明する。
　図４９は、平滑化パターン生成の様子の一例を示す図である。評価用パターン１８０１の現像用パターン８０１の実部として、撮影用パターン１０５と相似形であって、ピッチ係数β’が互いに異なる複数のパターン４９０１～４９０４を足し合わせた平滑化パターン４９０５を用いる。
　また、評価用パターン１８０１の現像用パターン８０１の虚部として、撮影用パターン１０５と相似形であって、ピッチ係数β’が互いに異なる複数のパターン４９０６～４９０９を足し合わせた平滑化パターン４９１０を用いる。
　なお、ここでは実部、虚部ともにそれぞれ４枚のパターンを加算して平滑化パターンを作成する例を示したが、加算するパターンの数は４に限らず、２以上であれば何枚でもよい。また、複数のパターンの加算ではなく、式（３）をβについて積分した式から直接、平滑化パターンを生成して演算効率を高めてもよい。
　このような平滑化パターン４９０５、４９１０のそれぞれと、複素センサ画像１６０２との相互相関演算によって生成される複素現像画像は、図１８で示した評価用パターン１８０１を用いて生成した複素情報配列３７０１を奥行き方向に平滑化したものと同一となる。
　なお、距離計測変数設定部１１１における、平滑化パターン作成に用いるβ’の決定方法としては、複数の方法が考えられ、いずれも効果を奏する。
　図５５は、奥行き方向の平滑化パターン生成の一例を示す図である。図５５では、評価用パターンがＮ枚の平滑化パターンで構成される場合のβ’の選択方法の一例が示されている。図５５は、縦軸にサンプリング番号（１～Ｎ）、横軸に被写体までのフォーカス距離をとり、各サンプリング番号に一つのフォーカス距離の範囲を示す領域が設定されていることを示す。第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４は、それぞれ１、２、３、Ｎ番目のサンプリング番号に対応している。
　つまり、第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４は、それぞれが、奥行き方向の平滑化パターンに含まれるフォーカス距離ｆの範囲を示す。撮影用パターンと相似形であって、ピッチ係数β’が互いに異なる複数のパターンが各領域において加算され、平滑化パターンが作成される。すなわち、各範囲は、ピント位置の範囲を示す。
　図４８は、評価指標配列の配列要素の値が評価用パターンのピッチに応じて変化する様子の一例を示す図である。以上のように奥行き方向に平滑化した評価用パターンを用いることで、最小値探索による距離計測で使用可能なピント範囲はｆ１’～ｆ２’に拡大され、ゼロ交差点算出による距離計測で使用可能なピント範囲もｆ３’～ｆ４’に拡大させることができる。また、以上のような平滑化パターンを使用することで、相互相関演算と同時に奥行き方向の平滑化が実行できるため、複素現像画像生成後に奥行き方向で平滑化する場合に比べ１フレームあたりの演算処理の負荷・時間を低減することが可能である。
　ここで、点光源を撮影した場合の複素情報配列を図３７の奥行き方向に広がる面３７０２に沿って切出した場合の等高線プロットを、図５０と図５１に示す。
　図５０は、平滑化されていない評価用パターンを用いた場合の複素情報配列の一例を示す図である。図５０が示すように、撮影用パターンと相似形の単一のパターンを現像用パターンとして使用すると、デフォーカスに応じた点光源の広がりは図５０のように急峻なものとなる。
　図５１は、平滑化パターンを用いた場合の複素情報配列の一例を示す図である。図５１に示すように、平滑化パターンを現像用パターンとして使用すると、デフォーカスに応じた点光源の広がりは緩慢になる。このため、平滑化パターンの使用によって、距離計測に使用可能なピント範囲が広がるだけでなく、面内の他ピクセルからのボケの伝搬の影響も抑制することができ、距離計測結果の外乱を抑制することが可能となる効果がある。
＜奥行き方向の平滑化パターン作成時の重み付け＞
　図４９では、平滑化パターン生成の際に、複数のパターン４９０１～４９０４および複数のパターン４９０６～４９０９をそれぞれ同じ重みで加算した。しかし、これに限られるものではなく、図５２に示した通り、それぞれのパターンに異なる重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）を乗算するようにしてもよい。
　図５３は、加重平滑化パターン生成の重み付けの一例を示す図である。重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）のそれぞれは、例えば、図５３に示すようにガウス関数型の重み５３０１に沿った値を取ることにより、平滑化範囲を広くとった場合でも、評価指標配列の配列要素の値がピント位置に対して単調増加でなくなることを防ぐことができる。また、非対称な重み５３０２に沿った重みづけ係数Ｗ１（５２０１）～Ｗ４（５２０４）を付加すれば、評価指標配列の要素の値がゼロと交差する位置がずれることを抑制できる。
＜奥行き方向の平滑化パターンの担当範囲の多様化＞
　平滑化パターンの平滑化レンジの取り方は図５５に示したように第一の領域５５０１、第二の領域５５０２、第三の領域５５０３、第四の領域５５０４のそれぞれは等距離を等間隔で範囲とするものに限らない。
　図５６は、奥行き方向の平滑化パターン生成の一例を示す図である。図５６に示すように、平滑化パターンの領域同士で平滑化レンジが重なっていてもよい。つまり、図５６では、第一の領域５５０１と第二の領域５５０２、第二の領域５５０２と第三の領域５５０３、のそれぞれの間で、重複するフォーカス位置の現像用パターンが含まれることになるが、その場合であっても問題なく採用できる。
　図５７は、奥行き方向の平滑化パターン生成の一例を示す図である。図５７に示すように、フォーカス位置の遠隔化に応じて徐々に平滑化範囲を広げてもよい。すなわち、フォーカス位置が手前にあるほど、平滑化の範囲を狭くするようにしてもよい。一般的にフォーカス位置が遠くにあるほど、現像画像の被写界深度は深くなるため、このような平滑化範囲の取り方によって、近距離の物体、遠距離の物体ともに同程度の平滑化効果をもたらすことが可能となる。
　また、フォーカス位置の近接化に応じて徐々に平滑化範囲を広げてもよい。一般的にフォーカス位置が近くにあるほど、より細かなフォーカス位置の検出が必要となることが多いためである。
　図５８は、奥行き方向の平滑化パターン生成の一例を示す図である。図５８に示すように、平滑化パターン同士の間隔を対数スケールで等間隔な場合、平滑化範囲も対数スケールで等しい長さになるように選択してもよい。
　図５９は、奥行き方向の平滑化パターン生成の一例を示す図である。図５９に示すように、平滑化範囲内に負のピント位置が含まれる場合、すなわちピント位置が撮影用パターン１０５よりもセンサ面側にある場合（距離ｆ－ａｖｅｒａｇｉｎｇ　ｒａｎｇｅ＜０の場合）には、ピッチ係数が無限に発散してしまいエラーとなる可能性がある。この場合でも、第一の領域５５０１のうち、破線で囲んだ部分（負のｆの値となる場合）については平滑化パターンに含まないようにすることでエラーを回避することができる。
　図５４は、距離計測ソフトウェアのユーザーインターフェースの一例を示す図である。このユーザーインターフェースは、距離計測装置１０１のディスプレイまたはこれに付随するコンピュータのディスプレイに表示される画面である。距離計測装置１０１は、この画面を介して距離計測範囲の最小値（Ｄｅｐｔｈ　Ｍｉｎ）、最大値（Ｄｅｐｔｈ　Ｍａｘ）、平滑化パターンの平滑化レンジ（Ｄｅｐｔｈ　Ａｖｅｒａｇｉｎｇ　Ｒａｎｇｅ）および平滑化解像度（Ｄｅｐｔｈ　Ｒｅｓｏｌｕｔｉｏｎ）の入力を受け付ける。なお、距離計測範囲（距離計測レンジ）は、距離計測範囲の最小値（Ｄｅｐｔｈ　Ｍｉｎ）から最大値（Ｄｅｐｔｈ　Ｍａｘ）までの距離である。
　入力された最小値、最大値、平滑化レンジおよび平滑化解像度は、距離計測変数設定部１１１が評価指標配列生成部１０９に受け渡す。評価指標配列生成部１０９は、入力された値を基に評価用パターン１８０１の現像用画像生成に使用するピッチ係数β’を選択する。たとえば、最小値探索を行う場合は、評価指標配列生成部１０９は、Ｎ枚の現像用パターンのうち１枚目は最小値以下のピント位置に対応するように選択し、Ｎ枚目は最大値以上のピント位置に対応するように任意のあるいは所定の値を選択する。なお、入力された距離計測範囲の最小値（Ｄｅｐｔｈ　Ｍｉｎ）は、ピント距離が最短となる平滑化範囲の中央値であり、距離計測範囲の最大値（Ｄｅｐｔｈ　Ｍａｘ）は、ピント距離が最長となる平滑化範囲の中央値である。
　また、ゼロ交差算出処理を行う場合は、評価指標配列生成部１０９は、２枚の現像用パターンのうち１枚目は最小値以下のピント位置に対応するように選択し、２枚目は最大値以上のピント位置に対応するように選択する。また、平滑化範囲（各領域が担当するフォーカス幅）については、評価指標配列生成部１０９は、入力された平滑化レンジ（Ｄｅｐｔｈ　Ａｖｅｒａｇｉｎｇ　Ｒａｎｇｅ）を使用する。また、平滑化範囲の重なり具合、つまり各平滑化範囲の中央値間の距離については、評価指標配列生成部１０９は、入力された平滑化解像度（Ｄｅｐｔｈ　Ｒｅｓｏｌｕｔｉｏｎ）を使用する。
　なお、評価指標配列生成部１０９は、入力する平滑化レンジはピント範囲そのものの値以外にも、ピント位置に対する割合等のピント範囲を特定する値を受け付けることで、図５７や図５８に示したような平滑化範囲で平滑化パターンを作成してもよい。
　このように、平滑化を積層方向についての平滑化として、評価指標配列を構成する二次元配列は、奥行き方向（積層方向）の平滑化範囲が互いに異なるようにしても良いし、積層方向の平滑化範囲が、ピント距離が近いほど狭いものとしても良いし、ピント距離が近いほど広いものとしてもよい。
　上述のように、第四の実施の形態によれば、奥行き方向（被写体方向）の現像用パターンを重ねた平滑化パターンを用いることで、ピント位置の範囲を拡大することが可能となり、より高精度な距離計測を実現することができる。
＜第五の実施の形態＞
＜面内平滑化＞
　本発明に係る第五の実施の形態である距離計測装置について説明する。第五の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、複素情報配列の平面内での平滑化を行う点が異なる。
　図６０は、複素現像画像のプロファイルを示す図である。図６０では、線６００１により、点光源撮影時のβ’＞β０となる現像用パターンで現像した複素現像画像の虚部の断面プロットを示す。
　複素現像画像の虚部は、中心部から離れるにつれ振動し、符号が反転する特性があるため、ピントが合っていない状態でも値がゼロになる画素（以下、ゼロ点）が面内に存在する。これらのゼロ点に相当する画素は、距離計測結果に誤差をもたらすおそれがあるため、ゼロ点の影響を抑制するのが望ましい。
　図３８は、評価指標配列変換部内の構成の一例を示す。評価指標配列生成部１０９の評価指標配列変換部３６０４は、平滑化カーネル生成部３８０１と、平滑化カーネル格納部３８０２と、虚部絶対値変換部３８０３と、面内平滑化演算部３８０４と、を含む。
　相互相関演算部３６０３から入力された複素情報配列３７０１は、虚部絶対値変換部３８０３へと入力される。虚部絶対値変換部３８０３は、複素情報配列３７０１内の各複素現像画像の虚部の絶対値を出力する。
　このことを図６０のグラフを用いて説明する。図６０の線６００１に示した複素現像画像が、虚部絶対値変換部３８０３に入力されると、虚部絶対値変換部３８０３は、図６０に示した線６００２に示す虚部絶対値配列を出力する。線６００２の出力には依然、ゼロ点が存在しうる。そのため、面内平滑化演算部３８０４が平滑化カーネル格納部３８０２に格納されている平滑化カーネルを用いて演算により面内の平滑化を行い、図６０の線６００３に示す、ゼロ点を除去した虚部絶対値平滑化配列を評価指標配列１６０３として出力する。
　以上のように複素情報配列について、平面内で絶対値変換後に平滑化を行う構成により、ゼロ点を除去して、距離情報の誤差を抑制することができる。
　なお、面内平滑化演算部３８０４での平滑化に使用する平滑化カーネルは、距離計測変数設定部１１１から入力された平滑化カーネル幅に応じて平滑化カーネル生成部３８０１で生成されたのち、平滑化カーネル格納部３８０２に格納され、面内平滑化演算部３８０４での平滑化処理に合わせて面内平滑化演算部３８０４へと受け渡される。
　また、平滑化カーネル生成部３８０１で生成されるカーネル関数の形状は距離計測変数設定部１１１からの入力に基づいて決定しうる。たとえば、平滑化カーネル生成部３８０１は、図６１の例のように平滑化カーネルを決定する。
　図６１は、平滑化カーネルの一例を示す図である。平滑化カーネル生成部３８０１は、断面プロット６１０１に示すような矩形型もしくは円柱型カーネル関数を決定するようにしてもよいし、断面プロット６１０２に示すような錐型のカーネル関数を決定するようにしてもよいし、断面プロット６１０３に示すようなガウス関数型のカーネル関数を決定するようにしてもよい。
　また、平滑化カーネルのカーネル幅についても、平滑化カーネル生成部３８０１は、図６２の例のように距離計測変数設定部１１１からの入力に基づいて決定する。
　図６２は、平滑化カーネルのカーネル幅の一例を示す図である。図６０に示した複素現像画像の線６００１の幅は、一般的に現像用パターンのピッチ係数β’に対して反比例の関係にある。そのため、評価用パターン生成部３６０１で生成される複数の現像用パターンのβ’に対して、それぞれ図６２に示すカーネル幅の平滑化カーネルを作成すればよい。
　なお、現像用パターンとして第四の実施形態における平滑化パターン（奥行き方向の平滑化パターン）を使用する場合には、平滑化カーネル生成部３８０１は、平滑化範囲中の代表的なβ’を基にカーネル幅を決定すればよい。なお、すべての複素現像画像の虚部絶対値に対して同一の平滑化カーネルパターンによる平滑化を行ってもよい。
　図６６は、面内平滑化による距離計測処理の一例を説明するフローチャートである。ステップ６６０１では、評価用パターン生成部３６０１が、評価用パターン１８０１を生成する。
　そして、ステップ６６０２では、平滑化カーネル生成部３８０１が、平滑化カーネルを生成し、平滑化カーネル格納部３８０２に格納する。そして、ステップ６６０３では、画像センサ１０３が、センサ画像を取得する。画像センサ１０３により取得されたセンサ画像を用いて、ステップ６６０４において複素センサ画像生成部１０８が複素センサ画像１６０２を生成する。
　ステップ６６０５では、複素センサ画像１６０２と評価用パターン１８０１の相互相関演算を相互相関演算部３６０３で行い、複素情報配列３７０１を生成する。
　ステップ６６０６では、虚部絶対値変換部３８０３が、複素情報配列３７０１の虚部絶対値を抽出し、面内平滑化演算部３８０４が、複素情報配列３７０１の虚部絶対値をステップ６６０２で生成した平滑化カーネルを用いて平滑化し、評価指標配列１６０３を生成する。
　ステップ６６０７では、距離情報生成部１１０が、評価指標配列１６０３を用いて距離情報を生成し出力する。
　以上が、平滑化カーネルを用いて面内平滑化を行う場合の距離計測処理の一例である。面内平滑化を行うことにより、エッジ内外での測距誤差を小さくすることができる。なお、ステップ６６０１で生成する評価用パターン１８０１を構成する現像用パターンは、撮影用パターンと相似形のパターンであってもよいし、第四の実施形態において説明した、撮影用パターンと相似形のパターンを複数枚足し合わせた平滑化パターンであってもよい。
　平滑化パターンを現像用パターンとして生成することにより、第四の実施形態において説明した奥行き方向の平滑化による測距レンジ拡大効果と、第五の実施形態において説明した面内方向の平滑化による測距精度向上効果と、の両方を得られる。
　また、ステップ６６０２の平滑化カーネル生成のタイミングは、ステップ６６０１の直後に実施するに限られず、ステップ６６０６の実施前であれば、いつ行っても構わない。
＜第六の実施の形態　微分＞
　本発明に係る第六の実施の形態である距離計測装置について説明する。第六の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、複素現像画像に対して面内の微分演算を行う点において異なる。
　図６３は、複素現像画像のプロファイルの一例を示す図である。このプロファイルは、一般的な被写体（風景等）を撮影した場合の複素現像画像虚部の様子を示す。被写体中にステップ応答６３０１のような輝度変化がある場合、β’＜β０における複素現像画像の虚部は、プロット６３０２に示すように、左右非対称な形状になる。一方、β’＞β０における複素現像画像の虚部は、プロット６３０３に示す通り、プロット６３０２と左右が反転した非対称な形状になる。なお、一般被写体の場合、ステップ応答６３０１の左側領域は必ずしもゼロではないため、複素現像画像虚部にはフロアとしてオフセット成分６３０４が加算される。
　その結果、そのままではステップ応答６３０１のエッジ部分（図の縦の破線）では複素現像画像の値がβ’に対して変化しないため、前述の最小値探索およびゼロ交差点の算出による距離情報生成は行えない。また、エッジの外側（左側）では、オフセット成分６３０４の影響を受け、最小値探索およびゼロ交差点の算出のいずれを用いた場合も、距離情報の値が実際の距離よりも大きくなる。一方で、エッジの内側（右側）では、オフセット成分６３０４の影響を受け、最小値探索およびゼロ交差点の算出のいずれを用いた場合も、距離情報の値が実際の距離よりも小さくなる。
　以上をまとめると、一般被写体の場合、エッジ部分そのものでは距離情報の生成が行えず、エッジの外側では実際よりも遠方に被写体があり、エッジの内側では実際よりも近くに被写体があることを示す距離情報が生成されてしまう。つまり、異なる二色で構成された被写体は、等距離にあるにも関わらず、色の部分により異なる距離が算出されることがある。
　図６４は、複素現像画像のプロファイルを微分した一例を示す図である。図６４に示すように、図６３に示した一般被写体のプロファイルであっても、複素現像画像を微分することで、複素現像画像のエッジ部分の非対称性とオフセット成分を除去することができる。そのため、エッジ部分での距離情報の生成とエッジ内外での距離情報の誤差を同時に解決することができる。
　このような微分処理を適用するために、相互相関演算部３６０３において、複素微分パターンと複素センサ画像とを用いて相互相関演算を行うことが考えられる。このような複素微分パターンの生成方法について、図６５を用いて説明する。
　図６５は、複素微分パターン生成の一例を示す図である。複素微分パターンは評価用パターン１８０１の現像用パターン８０１の一例ともいえる。評価用パターン生成部３６０１は、現像用パターンの実部として、撮影用パターン１０５と相似形のピッチ係数β’のパターン６５０１と、パターン６５０１と同ピッチ係数のパターン６５０２との差を用いて、複素微分パターン６５０３を生成する。ただし、パターン６５０１とパターン６５０２のパターン中心は、いずれかの方向に少なくとも１ピクセル以上ずれている。
　評価用パターン生成部３６０１は、現像用パターンの虚部として、撮影用パターン１０５と相似形のピッチ係数β’のパターン６５０４と、パターン６５０４と同ピッチ係数のパターン６５０５との差を用いて、複素微分パターン６５０６を生成する。ただし、虚部のパターン６５０４のパターン中心は、実部のパターン６５０１のパターン中心と一致し、虚部のパターン６５０５のパターン中心は、実部のパターン６５０２のパターン中心と一致するものとする。
　以上のようにして生成された複素微分パターン６５０３、６５０６からなる複素微分パターンを用いて、複素センサ画像１６０２との相互相関演算を相互相関演算部３６０３が行うことで、図６４で示すようなプロファイルを有する複素現像画像を生成できる。そして、微分された複素現像画像を用いて評価指標配列１６０３を生成させることで、距離情報生成部１１０において生成される距離情報の精度、とくにエッジ部の距離情報の精度を向上させることが可能となる。なお、以上のように複素微分パターンを用いて相互相関演算を行うことにより、複素現像画像を生成後に微分フィルタをかける処理を省略することができる。つまり、１フレームごとの処理の負荷・時間を低減することができる。
　上記の複素微分パターンを用いる距離計測フローは、図２７に示したフローと基本的に同様である。一部相違する点は、ステップ２７０１において生成する評価用パターン１８０１が、複素微分パターンである点である。なお、複素微分パターンを用いて相互相関演算を行う処理においては、平滑化パターンを用いた相互相関演算による奥行き方向の平滑化と、平滑化カーネルを用いた面内方向平滑化とのいずれかまたは両方を組み合わせて適用してもよい。
＜第七の実施の形態　奥行き方向平滑化と微分＞
　第七の実施の形態は、第四の実施の形態における平滑化パターンによる奥行き方向の平滑化と、第六の実施の形態における複素微分パターンによる演算と、を組み合わせる距離計測装置に係る実施の形態である。第七の実施の形態に係る距離計測装置が実施する評価用パターンの生成方法について、以下に説明する。
　第七の実施の形態に係る評価用パターンは、図２７に示したステップ２７０１において、評価用パターン生成部３６０１により生成される。具体的には、評価用パターン生成部３６０１は、図６７に示すように、評価用パターン１８０１の実部および虚部ともに、異なるピッチ係数β´を有するパターンから生成された複素微分パターンを複数加算して、微分平滑化パターンを生成する。
　図６７は、微分平滑化パターン生成の一例を示す図である。微分平滑化パターン生成においては、評価用パターン生成部３６０１は、評価用パターン１８０１の現像用パターンの実部として、複素微分パターンの実部６７０１～６７０４を加算して生成した微分平滑化パターン６７０５を生成する。同様に、評価用パターン生成部３６０１は、評価用パターン１８０１の現像用パターンの虚部として、複素微分パターンの虚部６７０６～６７０９を加算して生成した微分平滑化パターン６７１０を生成する。
　なお、複素微分パターン６７０１～６７０４のそれぞれの作成に用いる２つのパターンのピッチ係数は、複素微分パターン６７０１～６７０４のそれぞれで互いに異なる。また、実部の複素微分パターン６７０１と対応する虚部の複素微分パターン６７０６は、同じピッチ係数のパターンから生成されている。複素微分パターン６７０２～６７０４と、複素微分パターン６７０７～６７０９についても、同様である。
　なお、第四の実施形態においても説明した通り、微分平滑化パターン６７０５と、微分平滑化パターン６７１０との生成に用いる微分パターンはそれぞれ４枚に限られず、２枚以上であれば何枚使用しても構わない。また、式（３）をβについて積分し、微分処理することで直接的に微分平滑化パターンを生成してもよい。このようにすることで、演算量を抑制することができる。
　以上が、第七の実施の形態に係る距離計測装置である。第七の実施の形態に係る距離計測装置によれば、ピント位置の範囲を拡大するとともに、エッジがある場合でも精度の高い距離を計測することができる。
＜第八の実施の形態　奥行き方向平滑化、面内平滑化および微分＞
　第八の実施の形態は、第四の実施の形態における奥行き方向の平滑化と、第五の実施の形態における平滑化カーソルを用いた平滑化フィルタによる面内平滑化と、第六の実施の形態における複素微分パターンによる演算と、を組み合わせる距離計測装置に係る実施の形態である。第八の実施の形態に係る距離計測装置が実施する評価用パターンの生成方法について、図６６を用いて以下に説明する。
　第八の実施の形態に係る距離計測方法では、基本的には図６６に示した第五の実施の形態に係る距離計測装置と同様の処理を行う。ただし、第八の実施の形態に係る評価用パターンは、図６６に示したステップ６６０１において、評価用パターン生成部３６０１により、複素微分パターンまたは微分平滑化パターンとして生成される。具体的には、評価用パターン生成部３６０１は、評価用パターン１８０１の実部および虚部ともに、同じピッチ係数β´を有するパターンの中心を一ピクセル以上所定の方向にずらして差分を取った複素微分パターンを生成する。もしくは、評価用パターン生成部３６０１は、評価用パターン１８０１の実部および虚部ともに、異なるピッチ係数β´を有するパターンから生成された複素微分パターンを複数加算して、微分平滑化パターンを生成する。
　また、複素微分パターンは、図６５に示した方法以外にも、たとえば図６９に示すような方法を採用できる。図６９は、微分パターンの他の例を示す図である。評価用パターン生成部３６０１は、縦方向に一ピクセル以上ずらして２枚のパターンの差分を取るように生成してもよいし、斜め方向に一ピクセル以上ずらして２枚のパターンの差分を取るように生成してもよい。あるいは、評価用パターン生成部３６０１は、下式（１２），（１３）に示したラプラシアンカーネルとの畳み込み演算によって生成するようにしてもよい。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　このように、第八の実施の形態に係る距離計測装置によれば、演算量を抑制しつつ、高速かつ正確に距離を計測することができる。
＜第九の実施の形態　複数の評価用パターンの統合＞
　第九の実施の形態は、第一の実施の形態～第八の実施の形態に示した各実施の形態に係る距離計億装置において、複数の評価用パターンによる演算の結果得られる距離情報を統合して距離情報を得る距離計測装置に係る実施の形態である。第九の実施の形態に係る距離計測装置が実施する距離計測方法について、図６８を用いて以下に説明する。
　第九の実施の形態に係る距離計測装置の距離計測方法は、基本的に第一の実施形態に係る距離計測装置の距離計測方法と同様であるが、一部に相違がある。以下、相違点を中心に説明する。
　図６８は、距離計測処理の一例を説明するフローチャートである。まず、評価用パターン生成部３６０１は、ステップ６８０１において、評価用パターンを２つ以上（例えば、２種類）生成し、ステップ６８０３～ステップ６８０６においてそのうちの一つと、複素センサ画像１６０２と、を用いて相互相関演算を行って距離情報１を算出する。同様に、ステップ６８０７～ステップ６８０９において残る一つと、複素センサ画像１６０２と、を用いて相互相関演算を行って距離情報２を算出する。それ以上の評価用パターンがある場合には、その残りの評価用パターンについても同様に距離情報を算出する。
　ステップ６８１０において、距離情報１と距離情報２とを統合し、一つの距離情報として出力する。その統合方法は、例えば、距離情報１と距離情報２の同一画素における平均値を計算する方法が考えられる。距離情報が複数得られた場合には、同様に平均値、最頻値、中央値等の各種統計的な値を用いて統合することができる。
　なお、評価用パターン生成部３６０１は、ステップ６８０１において、面内方向の互いに異なる方向について微分した複数の評価用パターンを生成するようにしてもよい。
　以上が、第九の実施の形態に係る距離計測装置の例である。第九の実施の形態に係る距離計測装置によれば、より精度の高い距離情報を得ることができる。
　なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形が可能である。例えば、上記した各実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えたり、追加したりすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１・・・距離計測装置、１０２・・・撮像部、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・パターン基板、１０５・・・撮影用パターン、１０６・・・画像処理部、１０７・・・コントローラ、１０８・・・複素センサ画像生成部、１０９・・・評価指標配列生成部、１１０・・・距離情報生成部、１１１・・・距離計測変数設定部、８０１・・・現像用パターン、１２０１・・・撮影用パターン、１２０２・・・変調器制御部、１３０１・・・撮影用パターン、１３０２・・・画像分割部、１４０１・・・点、１４０２・・・投影像、１５０１・・・点、１５０２・・・投影像、１６０１・・・センサ画像、１６０２・・・複素センサ画像、１６０３・・・評価指標配列、１８０１・・・評価用パターン、１９０１・・・被写体、２９０１・・・距離情報、３１０１・・・距離計測レンジ入力部、３６０１・・・評価用パターン生成部、３６０２・・・評価用パターン格納部、３６０３・・・相互相関演算部、３６０４・・・評価指標配列変換部、３７０１・・・複素情報配列、３８０１・・・平滑化カーネル生成部、３８０２・・・平滑化カーネル格納部、３８０３・・・虚部絶対値変換部、３８０４・・・面内平滑化演算部

Claims (15)

  1. 　光を電気信号に変換し、センサ画像を生成する画像センサと、
    　撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調器と、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成部と、
    　前記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列生成部と、
    　前記評価指標配列を用いて距離情報を生成する距離情報生成部と、を有し、
    　前記評価指標配列生成部は、
    　ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、
    　前記複素センサ画像と複数の前記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、
    　前記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、
    　前記複素情報配列について前記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を前記積層方向に積層させた三次元配列を前記評価指標配列とする、
    　ことを特徴とする距離計測装置。
  2. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンと相似形であり、
    　前記距離情報生成部は、前記現像用パターンの前記撮影用パターンからの拡大率を用いて前記距離情報を生成する、
    　ことを特徴とする距離計測装置。
  3. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンと相似形であって拡大率が互いに異なる複数のパターンを足し合わせて生成されたものであり、
    　前記評価指標配列生成部は、
    　前記現像用パターンと相互相関演算を行うことで、前記複素情報配列の前記積層方向の平滑化を行う、
    　ことを特徴とする距離計測装置。
  4. 　請求項３に記載の距離計測装置であって、
    　前記評価指標配列生成部は、前記拡大率が互いに異なる複数のパターンをそれぞれ異なる重みづけにより前記現像用パターンを生成する、
    　ことを特徴とする距離計測装置。
  5. 　請求項１に記載の距離計測装置であって、
    　前記平滑化は積層方向についての平滑化であり、
    　前記評価指標配列を構成する前記二次元配列は、前記積層方向の平滑化範囲が互いに異なる、
    　ことを特徴とする距離計測装置。
  6. 　請求項５に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンと相似形であって拡大率が互いに異なる複数のパターンを足し合わせて生成されたものであり、
    　前記評価指標配列生成部は、
    　前記現像用パターンと相互相関演算を行うことで、前記複素情報配列の前記積層方向の平滑化を行う、
    　ことを特徴とする距離計測装置。
  7. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンと相似形であって、
    　前記評価指標配列生成部は、
    　前記複素情報配列の虚部絶対値について、前記平面の面内方向に平滑化を行う、
    　ことを特徴とする距離計測装置。
  8. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンと相似形であって、
    　前記評価指標配列生成部は、
    　前記複素情報配列の虚部絶対値について、前記平面の面内方向に平滑化を行い、
    　前記平滑化に用いる平滑化カーネルのカーネル幅を、前記現像用パターンの前記撮影用パターンからの拡大率を用いて特定する、
    　ことを特徴とする距離計測装置。
  9. 　請求項１に記載の距離計測装置であって、
    　前記評価指標配列生成部は、
    　前記複素情報配列について前記平面内の少なくとも一方向について微分演算を行った結果を用いて、前記評価指標配列を生成する、
    　ことを特徴とする距離計測装置。
  10. 　請求項１に記載の距離計測装置であって、
    　前記評価指標配列生成部は、
    　前記複素情報配列について前記平面内の少なくとも一方向について微分演算を行った結果を用いて、前記評価指標配列を生成するものであり、
    　前記撮影用パターンと相似形のパターンであって互いに少なくとも１画素以上平行移動した位置ずれを有する少なくとも二つのパターンの差を、前記現像用パターンとして生成し、
    　前記現像用パターンを用いて前記複素センサ画像と相互相関演算を行うことで、前記微分演算を行う、
    　ことを特徴とする距離計測装置。
  11. 　請求項１に記載の距離計測装置であって、
    　前記評価指標配列生成部は、
    　面内方向の互いに異なる方向について微分する複数の前記評価用パターンを生成することで複数の前記評価指標配列を生成し、
    　前記距離情報生成部は、
    　複数の前記評価指標配列を用いて複数の前記距離情報を生成し、
    　前記複数の距離情報を統合することで前記距離情報を生成する、
    　ことを特徴とする距離計測装置。
  12. 　請求項１に記載の距離計測装置であって、
    　前記評価指標配列の各配列要素は正負の値を取りうる数値の集合であり、
    　前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    　前記距離情報生成部は、前記各配列要素がゼロになる前記拡大率を特定して該拡大率に応じて前記距離情報を生成する、
    　ことを特徴とする距離計測装置。
  13. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    　前記評価指標配列の各配列要素は、前記拡大率に比例して変化する、
    　ことを特徴とする距離計測装置。
  14. 　請求項１に記載の距離計測装置であって、
    　前記現像用パターンは、前記撮影用パターンを所定の拡大率で拡大した相似形であり、
    　距離計測対象までの距離に応じて、距離計測範囲と距離計測分解能とを設定する距離計測変数設定部を有し、
    　前記評価指標配列生成部は、前記距離計測範囲と前記距離計測分解能とに応じて前記現像用パターンの前記撮影用パターンからの拡大率を選択して前記評価用パターンを生成する、
    　ことを特徴とする距離計測装置。
  15. 　光を電気信号に変換し、センサ画像を生成するセンサ画像生成ステップと、
    　撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調ステップと、
    　前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像生成ステップと、
    　前記複素センサ画像の位相情報を基に評価指標配列を生成する評価指標配列ステップと、
    　前記評価指標配列を用いて距離情報を生成する距離情報生成ステップを有し、
    　前記評価指標配列生成ステップでは、ピント距離に応じた複数の互いに異なる現像用パターンを含む評価用パターンを生成し、
    　前記複素センサ画像と複数の前記現像用パターンとの相互相関演算を行って複数の現像画像を生成し、
    　前記複数の現像画像をピント距離が近い順に積層させることで平面および奥行き方向を有する三次元の複素情報配列を生成し、
    　前記複素情報配列について前記三次元の少なくとも一つの方向に所定の範囲で平滑化して二次元配列を複数生成し、該二次元配列を前記積層方向に積層させた三次元配列を前記評価指標配列とする、
    　ことを特徴とする距離計測方法。
PCT/JP2019/043827 2018-12-26 2019-11-08 距離計測装置および距離計測方法 WO2020137185A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018242875A JP7065761B2 (ja) 2018-12-26 2018-12-26 距離計測装置および距離計測方法
JP2018-242875 2018-12-26

Publications (1)

Publication Number Publication Date
WO2020137185A1 true WO2020137185A1 (ja) 2020-07-02

Family

ID=71129007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043827 WO2020137185A1 (ja) 2018-12-26 2019-11-08 距離計測装置および距離計測方法

Country Status (2)

Country Link
JP (1) JP7065761B2 (ja)
WO (1) WO2020137185A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
JP2019105466A (ja) * 2017-12-11 2019-06-27 株式会社日立製作所 距離計測装置および距離計測方法
JP2019176214A (ja) * 2018-03-27 2019-10-10 株式会社日立製作所 撮像装置、撮像モジュールおよび撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150219808A1 (en) * 2013-08-28 2015-08-06 Rambus Inc. Patchwork fresnel zone plates for lensless imaging
JP2018061109A (ja) * 2016-10-04 2018-04-12 株式会社日立製作所 撮像装置および撮像方法
WO2018221019A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
JP2019105466A (ja) * 2017-12-11 2019-06-27 株式会社日立製作所 距離計測装置および距離計測方法
JP2019176214A (ja) * 2018-03-27 2019-10-10 株式会社日立製作所 撮像装置、撮像モジュールおよび撮像方法

Also Published As

Publication number Publication date
JP2020106301A (ja) 2020-07-09
JP7065761B2 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
US10928641B2 (en) Imaging apparatus generating subject image from moire fringe image obtained by concentric pattern and method thereof
JP6571266B2 (ja) 撮像装置
US10551532B2 (en) Imaging device and imaging method
TWI490629B (zh) 具全幅對焦之三維影像擷取裝置及方法
JP2018098623A (ja) 撮像装置
JP2011523238A (ja) 画像処理装置及び画像処理方法
JP7061883B2 (ja) 画像表示装置および画像表示方法
JP6920974B2 (ja) 距離計測装置および距離計測方法
CN110324513B (zh) 摄像装置，摄像模块和摄像方法
JP7097787B2 (ja) 撮像装置および撮像方法
WO2020137185A1 (ja) 距離計測装置および距離計測方法
Reichenzer et al. Improvement in systematic error in background-oriented schlieren results by using dynamic backgrounds
JP2019149674A (ja) 撮像装置、撮像方法、および画像処理装置
JP4091455B2 (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
WO2021024452A1 (ja) 撮像装置および方法
US11740468B2 (en) Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
JP7278454B2 (ja) 画像表示装置
JP2019161574A (ja) 撮像装置
Šorel Multichannel blind restoration of images with space-variant degradations
JP2021005743A (ja) 撮像装置
Nagahara et al. Computational photography using programmable aperture
JP2021064000A (ja) 撮像装置
Zhou Point spread function engineering for scene recovery
Eastwood Multiple layer image analysis for video microscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19903517

Country of ref document: EP

Kind code of ref document: A1