WO2018225547A1 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- WO2018225547A1 WO2018225547A1 PCT/JP2018/020261 JP2018020261W WO2018225547A1 WO 2018225547 A1 WO2018225547 A1 WO 2018225547A1 JP 2018020261 W JP2018020261 W JP 2018020261W WO 2018225547 A1 WO2018225547 A1 WO 2018225547A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- processing method
- types
- image
- data
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims abstract description 52
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000009826 distribution Methods 0.000 claims abstract description 45
- 238000002834 transmittance Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012935 Averaging Methods 0.000 claims abstract description 8
- 238000001228 spectrum Methods 0.000 claims description 34
- 239000002131 composite material Substances 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012888 cubic function Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 2
- 238000012887 quadratic function Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 19
- 239000000203 mixture Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present invention relates to an image processing method for reconstructing a subject image by arithmetic processing based on encoded data generated by imaging a subject using an encoding mask.
- An imaging apparatus such as a camera or a telescope forms an image of a subject on an imaging surface of an imaging element using an optical element such as a lens, and acquires the luminance distribution of the image as an image. Since the image formed on the imaging surface reproduces the luminance distribution of the subject almost as it is, the imaging device can acquire the subject image without special post-processing. However, in order to acquire an ideal image, it is necessary to use a highly designed and processed lens, and an imaging apparatus including such a lens is necessarily expensive.
- Patent Documents 1 and 2 propose a method for reconstructing an image of a subject without using a lens in order to reduce the price of an imaging apparatus.
- a coding mask having a special shape is arranged on the front side (subject side) of the image sensor, and the subject image is reconstructed by solving the inverse problem on the computer from the acquired transmission image.
- Patent Document 1 discloses a method in which a coding mask is decomposed using a Toeplitz matrix and a reconstruction operation is performed using a Wiener filter and a Landweber method.
- Patent Document 2 discloses a method using Tikhonov regularization, a method using compression detection, and the like.
- An object of the present invention is to provide an image processing method, an image processing apparatus, an imaging apparatus, and an image processing program that can reconstruct an image of a subject at high speed and high image quality.
- An image processing method includes: obtaining a plurality of pieces of encoded data based on imaging of a subject using a plurality of types of encoding masks; and weighted average using a complex coefficient, Calculating reconstruction data based on encoded data; and calculating a subject image by reconstruction processing based on the combined data and the plurality of types of encoding masks, and the reconstruction processing.
- An image processing apparatus includes an acquisition unit that acquires a plurality of encoded data based on imaging of a subject using a plurality of types of encoding masks, and a weighted average using a complex coefficient.
- the reconstruction means performs a deconvolution operation on the synthesized data based on a transmittance distribution of the plurality of types of coding masks in the reconstruction process.
- An imaging device includes an imaging device, a plurality of types of encoding masks arranged on a subject side with respect to the imaging device, and the plurality of types of encoding masks by the imaging device.
- Acquisition means for acquiring a plurality of encoded data based on imaging of the used subject, calculation means for calculating composite data based on the plurality of encoded data by a weighted average using complex coefficients, the composite data, and Reconstruction processing means for calculating an image of the subject by reconstruction processing based on the plurality of types of encoding masks, and the reconstruction processing means includes the plurality of types of codes in the reconstruction processing.
- a deconvolution operation is performed on the composite data based on the transmittance distribution of the mask.
- An image processing program includes a step of acquiring a plurality of encoded data based on imaging of an object using a plurality of types of encoding masks in a computer, and weighting using a complex coefficient Calculating a composite data based on the plurality of encoded data by averaging, and calculating an image of the subject by a reconstruction process based on the composite data and the plurality of types of encoding masks.
- an image processing method an image processing apparatus, an imaging apparatus, and an image processing program capable of reconstructing a subject image at high speed and high image quality.
- FIG. 1 is a schematic diagram of an imaging apparatus having an image processing apparatus according to an embodiment of the present invention.
- FIG. 4 is a relationship diagram between a subject and encoded data. It is a flowchart which shows the image processing method of this embodiment. It is a figure which shows a to-be-photographed object.
- FIG. 3 is a diagram illustrating a coding mask according to the first embodiment. It is a figure which shows the coding data of Example 1.
- FIG. 3 is a diagram illustrating a reconstructed image according to the first embodiment. It is a figure which shows the reconstruction image acquired using the conventional method.
- FIG. 6 is a diagram illustrating an encoding mask according to a second embodiment.
- FIG. 10 is a diagram illustrating a reconstructed image according to the second embodiment.
- FIG. 10 is a diagram illustrating an encoding mask according to a third embodiment.
- FIG. 10 is a diagram showing a reconstructed image of Example 3. It is a figure which shows the reconstruction image acquired using the conventional method. It is a figure which shows the encoding mask of Example 4.
- FIG. 10 is a diagram illustrating a reconstructed image of Example 4. It is a figure which shows the reconstruction image acquired using the conventional method.
- 10 is a flowchart illustrating an image processing method according to a sixth embodiment.
- FIG. 10 is a diagram illustrating a reconstructed image of Example 6. It is sectional drawing of the spatial spectrum of an encoding mask.
- FIG. 1 is a schematic diagram of an imaging apparatus 100 having an image processing apparatus 104 according to an embodiment of the present invention.
- the imaging device 100 includes an encoding mask 101, an imaging element 102, a data holding device 103, and an image processing device 104.
- the light emitted from the subject 1 passes through the encoding mask 101 and reaches the image sensor 102.
- the image sensor 102 acquires the light intensity distribution (encoded data) encoded by the encoding mask 101.
- the data holding device 103 stores the encoded data acquired by the image sensor 102.
- the image processing device 104 performs image processing corresponding to the mask shape on the encoded data read from the data holding device 103.
- FIG. 2 is a relationship diagram between the subject 1 and the encoded data.
- the light emitted from the point on the subject 1 illuminates the coding mask 101 almost uniformly, and the shadow of the coding mask 101 is projected on the imaging surface of the image sensor 102.
- Light emitted from a point 1 a that is not a point on the optical axis O on the subject 1 illuminates the coding mask 101 obliquely. Therefore, on the imaging surface, a shift determined by the angle ⁇ between the optical axis O and the light emitted from the object point 1a with respect to the coding mask 101, and the distance D between the coding mask 101 and the imaging device 102.
- a shadow 201 of the coding mask 101 is projected at a position shifted by an amount ⁇ .
- the image sensor 102 acquires, as encoded data, a combination of projection images of the encoding mask 101 formed by light emitted from each object point. If the luminance distribution of the subject 1 is a function o ( ⁇ ) of the shift amount ⁇ , and the transmittance of the coding mask 101 is a function t (x) of the position coordinate x in the direction perpendicular to the optical axis O, it is acquired by the image sensor 102.
- the encoded data i (x) can be expressed by the following equation (1).
- Equation (1) means convolution integral.
- Equation (1) is expressed by the following equation (2) by the convolution theorem.
- I ( ⁇ ) O ( ⁇ ) ⁇ T ( ⁇ ) (2)
- I ( ⁇ ), O ( ⁇ ), and T ( ⁇ ) are Fourier transforms of the encoded data i (x), the luminance distribution o ( ⁇ ) of the subject 1, and the transmittance t (x) of the encoding mask 101, respectively.
- ⁇ represents a spatial frequency.
- O ( ⁇ ) can be obtained by dividing I ( ⁇ ) by T ( ⁇ ).
- the frequency spectrum T of the coding mask generally has a zero point where the value becomes very small at a specific frequency, information in the frequency domain is excessively amplified or noise is amplified by division. . Therefore, in the conventional method, zero drop in the frequency domain is avoided by using a Wiener filter or the like.
- a plurality of encoded data are used.
- t 1 (x) (1 + cos (2 ⁇ 0 x 2 )) / 2 as the first encoding mask
- t 2 (x) (1 + sin (2 ⁇ 0 x 2 ) as the second encoding mask. ))
- / 2 types of coding masks having a transmittance distribution represented by / 2 are prepared.
- ⁇ 0 is a constant.
- the encoded data acquired using the first encoding mask and the second encoding mask can be expressed by the following equations (3) and (4), respectively.
- the image processing apparatus 104 calculates the combined data i mix (x) by performing a weighted average represented by the following equation (5) for these encoded data.
- i mix (x) i 1 + j ⁇ i 2 (5) j is an imaginary unit.
- Formula (5) can be rewritten into the following formula (6) by substituting formula (3) and formula (4).
- Equation (6) is a complex constant.
- Equation (6) when Fourier transformation both sides except for the complex constant C 1, represented by the theorem of convolution following equation (7).
- I mix ( ⁇ ) O ( ⁇ ) ⁇ C 2 ⁇ exp ( ⁇ j ⁇ 2 / 2 ⁇ 0 ) (7)
- C 2 is a complex constant
- I mix ( ⁇ ) is a Fourier transform of the combined data i mix (x).
- exp ( ⁇ j ⁇ 2 / 2 ⁇ 0 ) is a function having an absolute value of 1 in the entire frequency range, that is, a zero point does not exist. Therefore, the spectrum I mix ( ⁇ ) of the combined data i mix (x) is divided by exp ( ⁇ j ⁇ 2 / 2 ⁇ 0 ), that is, all frequency domain information is recovered by multiplying by the inverse filter in the frequency space. be able to.
- a high-quality subject image (reconstructed image) can be acquired.
- the Fourier transform and inverse Fourier transform can be executed at high speed by using FFT (fast Fourier transform), inverse FFT, or the like.
- FT means Fourier transform
- FT -1 means inverse Fourier transform.
- G ( ⁇ ) is referred to as a complex function filter
- g (x) is referred to as a complex function mask.
- C 3 is a complex constant.
- the first term of Equation (12) is a convolution operation of the luminance distribution of the subject and a complex function, as in Equation (6). Equation (12) is expressed by the following equation (13) by the convolution theorem when both sides are Fourier transformed except for the complex constant C3.
- the present invention is not limited to the case of the coding mask when the real function ⁇ ( ⁇ ) is specified as ⁇ 2 / 2 ⁇ 0 as in the above example, that is, is limited to a specific coding mask.
- the image of the subject with high image quality can be acquired without any problem.
- FIG. 3 is a flowchart showing the image processing method of the present embodiment.
- the image processing method of this embodiment is executed according to an image processing program that operates on software and hardware.
- the image processing program may be stored in the image processing apparatus 104 or may be recorded on a computer-readable recording medium.
- the image processing apparatus 104 executes the image processing method.
- a personal computer (PC) or a dedicated apparatus may execute the image processing method of the present embodiment as an image processing apparatus.
- a circuit corresponding to the image processing program of this embodiment may be provided, and the image processing method of this embodiment may be executed by operating the circuit.
- step S1 the image processing apparatus 104 acquires a plurality of pieces of encoded data based on imaging of the subject 1 using a plurality of types of encoding masks. That is, the image processing apparatus 104 functions as an acquisition unit.
- step S2 the image processing apparatus 104 calculates synthesized data based on the plurality of encoded data acquired in step S1 by a weighted average using the complex coefficient expressed by the equation (5). That is, the image processing apparatus 104 functions as a calculation unit.
- step S3 the image processing apparatus 104 subtracts the offset from the composite data calculated in step S2.
- step S4 the image processing apparatus 104 performs FFT to calculate conversion data (spectrum data).
- step S5 the image processing apparatus 104 multiplies the converted data by an inverse filter in a frequency space determined from the complex function filter G ( ⁇ ).
- step S6 the image processing apparatus 104 reconstructs the image of the subject 1 by performing inverse FFT.
- step S3 the processing after step S3 is referred to as reconfiguration processing, and the processing from step S4 to step S6 is referred to as deconvolution operation. That is, the image processing apparatus 104 functions as a reconstruction unit.
- a subject image can be reconstructed from a plurality of encoded data at high speed and with high image quality.
- the encoding mask shown in FIG. 5 is used as the encoding mask 101.
- the encoding mask of the present embodiment has a concentric pattern.
- (X) (1 + sin (2 ⁇ 0 (x 2 + y 2 ))) / 2.
- the image processing apparatus 104 reads the encoded data shown in FIG. 6 generated using the encoding mask shown in FIG.
- the image processing apparatus 104 divides the encoded data read from the data holding apparatus 103 into two left and right areas, and handles each data as encoded data 1 and encoded data 2, respectively. Note that the image processing apparatus 104 may read the encoded data 1 and the encoded data 2 that are already divided and stored in the data holding apparatus 103.
- the image processing apparatus 104 calculates composite data based on the encoded data 1 and the encoded data 2 by the weighted average represented by the equation (5). Subsequently, the image processing apparatus 104 calculates spectral data by performing FFT after subtracting the offset from the combined data.
- the image processing apparatus 104 multiplies the spectrum data by the inverse of the complex function filter (exp ( ⁇ j ( ⁇ 2 + ⁇ 2 ) / 2 ⁇ 0 )) determined by Expression (8), and then performs inverse FFT.
- ⁇ is a spatial frequency in the y direction.
- the image processing apparatus 104 can acquire the image of the subject that reproduces the subject well as shown in FIG. 7 by executing the image processing method of the present embodiment.
- FIG. 8 shows an image of a subject reconstructed by the Wiener filter using only the encoded data 1 and the calculation time equivalent to that of the present embodiment. Comparing FIG. 7 and FIG. 8, it can be seen that the image obtained by executing the image processing method of this embodiment has higher image quality.
- the image acquired by executing the image processing method of the present embodiment is 34.7, and the image acquired by executing the conventional method is 26.8. Quantitatively, the image quality has improved.
- the encoding mask shown in FIG. 9 is used as the encoding mask 101.
- the real function ⁇ ( ⁇ , ⁇ ) is set to ⁇ ( ⁇ 2 + 0.5 ⁇ 2 ) / 2 ⁇ 0, and the first coding mask having the transmittance distribution calculated using the equation (10) is used.
- the image processing apparatus 104 uses the first and second encoding masks to generate encoded data 1 and codes corresponding to the first and second encoding masks generated by the same simulation as in the first embodiment. To obtain data 2.
- the image processing apparatus 104 calculates composite data based on the encoded data 1 and the encoded data 2 by the weighted average represented by the equation (5). Subsequently, the image processing apparatus 104 calculates spectral data by performing FFT after subtracting the offset from the combined data.
- the image processing apparatus 104 performs inverse FFT after multiplying the spectrum data by the inverse of the complex function filter determined by Expression (8).
- the image processing apparatus 104 can acquire the image of the subject that reproduces the subject well as shown in FIG. 10 by executing the image processing method of the present embodiment.
- FIG. 11 shows an image of a subject reconstructed by the Wiener filter using only the encoded data 1 and the calculation time equivalent to that of the present embodiment. Comparing FIG. 10 and FIG. 11, it can be seen that the image obtained by executing the image processing method of the present embodiment has higher image quality.
- the image acquired by executing the image processing method of the present embodiment is 26.2, and the image acquired by executing the conventional method is 22.6. Has improved.
- the encoding mask shown in FIG. 12 is used as the encoding mask 101.
- the real function ⁇ ( ⁇ , ⁇ ) is ⁇ ( ⁇ 2 +0.2
- the image processing apparatus 104 can acquire the image of the subject shown in FIG. 13 according to the flowchart of FIG. FIG. 14 shows an image of a subject reconstructed by the Wiener filter using only the encoded data 1 and the calculation time equivalent to that of the present embodiment. Comparing FIG. 13 and FIG. 14, it can be seen that the image obtained by executing the image processing method of this embodiment has higher image quality. When the PSNR is calculated, the image acquired by executing the image processing method of the present embodiment is 21.8, and the image acquired by executing the conventional method is 17.1. Has improved.
- the encoding mask shown in FIG. 15 is used as the encoding mask 101.
- the real function ⁇ ( ⁇ , ⁇ ) is a cubic function represented by ⁇ (
- the real function ⁇ ( ⁇ , ⁇ ) is a cubic function, but may be an n-order function such as a quadratic function.
- the image processing apparatus 104 can acquire the image of the subject shown in FIG. 16 according to the flowchart of FIG. FIG. 17 shows an image of a subject reconstructed by the Wiener filter using only the encoded data 1 and the calculation time equivalent to that of the present embodiment. Comparing FIG. 16 and FIG. 17, it can be seen that the image obtained by executing the image processing method of the present embodiment has higher image quality. When the PSNR is calculated, the image acquired by executing the image processing method of this embodiment is 24.5, and the image acquired by executing the conventional method is 21.2. Has improved.
- the real function ⁇ ( ⁇ ) is set to ⁇ 2 / 2 ⁇ 0 .
- the results are shown in one dimension.
- the combined data subjected to the inverse filter in the frequency space is expressed as FT ⁇ 1 [I mix ( ⁇ ) / (C 2 ⁇ exp ( ⁇ j ⁇ 2 / 2 ⁇ 0 ))].
- the synthesized data subjected to the inverse filter is expressed by the following equation (14) by the convolution theorem.
- this convolution operation can be calculated by one FFT.
- at least two FFTs are required when calculating the spectrum of the synthesized data and when performing inverse Fourier transform on the spectrum multiplied by the filter.
- by performing analytically a part of the calculation in advance it is possible to reconstruct an image by one FFT after multiplying the complex pattern. Speeding up can be realized.
- the calculation for calculating the luminance distribution o (x) of the subject from the composite data i mix (x) can be executed only by the calculation in the real space.
- the following equation (15) is a modification of equation (13).
- FT ⁇ 1 [2 / G ( ⁇ )] is an inverse filter in real space. From equation (16), it can be seen that the luminance distribution of the subject can be calculated by a convolution operation of the combined data and the inverse filter in the real space. Since the inverse filter in real space does not depend on the subject, it can be calculated in advance. Therefore, when reconstructing an image, it is only necessary to execute a convolution operation with the composite data.
- FIG. 18 is a flowchart showing the image processing method of the present embodiment executed by the image processing apparatus 104.
- step S21 the image processing apparatus 104 acquires a plurality of pieces of encoded data based on imaging of the subject 1 using a plurality of types of encoding masks. That is, the image processing apparatus 104 functions as an acquisition unit.
- step S22 the image processing apparatus 104 calculates composite data based on the plurality of pieces of encoded data acquired in step S21, using a weighted average using a complex coefficient expressed by the equation (5). That is, the image processing apparatus 104 functions as a calculation unit.
- step S23 the image processing apparatus 104 subtracts the offset from the composite data calculated in step S22.
- step S24 the image processing apparatus 104 performs a convolution operation (deconvolution operation) between the combined data obtained by subtracting the offset in step S23 and the inverse filter in the real space calculated in advance. Reconstruct one image.
- a convolution operation deconvolution operation
- steps S23 and S24 are referred to as reconfiguration processing. That is, the image processing apparatus 104 functions as a reconstruction unit.
- a subject image can be reconstructed from a plurality of encoded data at high speed and with high image quality.
- the same coding mask shown in FIG. 5 as that of the first embodiment is used as the coding mask 101.
- the image processing apparatus 104 calculates an inverse filter in real space corresponding to the coding mask in advance.
- the image processing apparatus 104 uses the first and second encoding masks to generate encoded data 1 and codes corresponding to the first and second encoding masks generated by the same simulation as in the first embodiment. To obtain data 2. Next, the image processing apparatus 104 calculates composite data based on the encoded data 1 and the encoded data 2 by the weighted average represented by Expression (5). Subsequently, the image processing apparatus 104 subtracts the offset from the combined data. Finally, the image processing apparatus 104 convolves the inverse filter in the real space, which has been calculated in advance, with the combined data from which the offset has been removed.
- FIG. 19 is an image of a subject obtained by executing the image processing method of this embodiment, and the subject is well reproduced.
- the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
- a circuit for example, ASIC
- the method of arranging two coding masks adjacent to each other has been described, but the method of arranging the masks is not limited to this. It is only necessary that different encoding masks are arranged at spatially different positions. In other words, the effect of the present invention can be obtained if encoded data encoded by a plurality of different encoding masks can be acquired.
- the method for dividing the spectrum of the synthesized data by the complex function filter G ( ⁇ ) has been described.
- other methods can be used for reconstruction.
- the spectrum of the synthesized data may be multiplied by a Wiener filter generated from the complex function filter G ( ⁇ ). If it is the calculation method which performs a deconvolution process, the effect of this invention can be acquired.
- a place where the frequency spectrum value is zero has been referred to as a zero point, but a place that should be treated as a zero point is not only a place where the frequency spectrum value is strictly zero. In particular, when processing data by numerical calculation, the exact zero point often does not appear. However, even in such a case, there is a region where the value of the frequency spectrum is smaller than other regions, and this region is a place called a zero point. For example, points and regions where the value of the frequency spectrum is sufficiently small relative to the maximum value of the absolute value of the frequency spectrum obtained by numerical calculation such as FFT may be treated as a zero point. Specifically, points and regions where the frequency spectrum value is 0.15 times or less of the maximum absolute value of the frequency spectrum may be treated as zero points.
- an offset due to a constant is added to the transmittance of the two coding masks defined by Expression (10) and Expression (11) in order to avoid a negative portion.
- a point and a region where the value of the frequency spectrum is 0.15 times or less with respect to the maximum absolute value in the region excluding the origin of the frequency spectrum may be handled as a zero point.
- FIG. 20 shows a sectional view of the spatial spectrum of the first and second coding masks when the real function ⁇ ( ⁇ , ⁇ ) is ⁇ ( ⁇ 2 + ⁇ 2 ) /0.034.
- the solid line represents the cross section of the spatial spectrum of the first coding mask
- the broken line represents the cross section of the spatial spectrum of the second coding mask.
- Equation (8) a complex function having an absolute value of 1 in all frequency regions is used as the complex function filter G ( ⁇ ), but the present invention is not limited to this.
- it may be a function represented by a ( ⁇ , ⁇ ) ⁇ exp (j ⁇ ( ⁇ , ⁇ )) and having an absolute value with attenuation or modulation.
- the function a ( ⁇ , ⁇ ) representing the absolute value does not have a zero point, a high recovery effect can be obtained.
- the zero point is strictly eliminated.
- a recovery process may be performed using a Wiener filter or the like.
- the number of zero points or the size of the zero point area is smaller than the case where one piece of coded data is used due to the weighted average represented by Expression (5). It is possible to obtain a reconstructed image with higher image quality than when using.
- the spatial frequency is not particularly limited, but the minimum size that can be processed is determined for the mask that can be actually created, and this determines the maximum frequency that the coding mask can have. End up. Therefore, strictly speaking, there can be no coding mask in which there is no zero point in the spatial spectrum.
- the effect of the present invention can be obtained if there is no zero point in the function a ( ⁇ , ⁇ ) within the target frequency region. For example, it is sufficient that there is no zero point in a frequency region smaller than the frequency determined from the reciprocal of the sampling pitch (sampling interval) ⁇ of the encoded data expressed by the following equation (17).
- ⁇ max 1 / 2 ⁇ (17)
- the method of generating the encoding mask from the complex function mask g (x) using the equations (10) and (11) has been described, but the present invention is not limited to this.
- an encoding mask may be generated using the formula (10) and the formula (11) after normalization or the like.
- the constant added in equation (11) may be adjusted to a value different from 1. If each coding mask has a shape including the real part and the imaginary part of the complex function g (x), the effect of the present invention can be obtained.
- the shape of the first and second coding masks need not be a shape that explicitly includes the real part and the imaginary part of the complex function g (x).
- a new function may be generated by appropriately dividing the real part and the imaginary part of the complex function g (x), and three or more types of coding masks may be generated therefrom.
- the inverse filter in the frequency space and the real space is calculated using the complex function filter G ( ⁇ ) generated from the real function ⁇ ( ⁇ ), but the present invention is not limited to this.
- the composite mask g ′ (x) is calculated from the transmittance distribution of the encoding mask by weighted average using complex coefficients, and the composite spectrum G ′ ( ⁇ ) is calculated from the composite mask g ′ (x) by Fourier transform. Then, an inverse filter may be generated from the combined spectrum G ′ ( ⁇ ).
- either Fourier transform or inverse Fourier transform may be used when calculating a frequency spectrum or calculating data in real space from the frequency spectrum. All operations only need to be consistently combined. The gist of the present invention does not change depending on the conversion method.
- Method of calculating an offset C 3 with synthetic data calculated by the equation (12) There are various.
- the average value of the composite data may be determined as the offset C 3.
- the value of the peripheral region of the encoded data may be determined as the offset C 3.
- the offset may be removed from the encoded data before the image is synthesized. As an offset at that time, the average value of the image or the value of the peripheral region of the image may be used.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】高速かつ高画質で被写体の画像を再構成可能な画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供すること。 【解決手段】複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得するステップと、複素数係数を用いた重み付き平均により、複数の符号化データに基づく合成データを算出するステップと、合成データおよび複数種類の符号化マスクに基づいて、被写体の画像を再構成処理によって算出するステップと、を有し、再構成処理は、複数種類の符号化マスクの透過率分布に基づいて、合成データに対し逆畳み込み演算を行うステップを有する。
Description
本発明は、符号化マスクを用いた被写体を撮像することで生成された符号化データに基づく演算処理によって被写体の画像を再構成する画像処理方法に関する。
カメラや望遠鏡などの撮像装置は、レンズなどの光学素子を用いて被写体の像を撮像素子の撮像面に形成し、像の輝度分布を画像として取得する。撮像面上に形成された像は被写体の輝度分布をほぼそのまま再現しているため、撮像装置は特段の後処理なしに被写体の画像を取得することができる。しかしながら、理想的な画像を取得するためには高度に設計・加工されたレンズを使用する必要があり、そのようなレンズを備えた撮像装置は必然的に高価になってしまう。
特許文献１，２では、撮像装置の価格を抑えるために、レンズを用いることなく被写体の画像を再構成する方法が提案されている。上記方法では、撮像素子の前側（被写体側）に、特殊な形状の符号化マスクを配置し、取得された透過像から逆問題を計算機上で解くことで被写体の画像を再構成している。逆問題を解く方法として、特許文献１では、符号化マスクを、Ｔｏｅｐｌｉｔｚ行列を用いて分解し、ウィーナーフィルタおよびＬａｎｄｗｅｂｅｒ法を用いて再構成演算を行う方法が開示されている。また、特許文献２では、Ｔｉｋｈｏｎｏｖ正則化を用いた方法や圧縮検出を用いた方法などが開示されている。
通常、符号化マスクの周波数スペクトルには、振幅がゼロ近傍まで落ち込むゼロ点が存在する。そのため、周波数領域の情報を復元する場合、復元によってノイズが増幅されてしまい、良好な画像を算出することが困難である。一般的に、このようなノイズの増幅を抑えるために、ウィーナーフィルタを用いて回復処理が行われるが、回復処理はゼロ点を避けて行われるため、ゼロ点が存在する領域では実質的に回復効果が得られない。そのため、特許文献１の方法では、回復効果が得られない周波数成分が存在する。また、特許文献２の方法では、最適化問題を解くための計算負荷が大きく、画像を再構成するまでの時間が長くなってしまう。
本発明は、高速かつ高画質で被写体の画像を再構成可能な画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供することを目的とする。
本発明の一側面としての画像処理方法は、複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得するステップと、複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出するステップと、前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出するステップと、を有し、前記再構成処理は、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うステップを有することを特徴とする。
また、本発明の他の側面としての画像処理装置は、複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得する取得手段と、複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出する算出手段と、前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出する再構成手段と、を有し、前記再構成手段は、前記再構成処理において、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うことを特徴とする。
また、本発明の他の側面としての撮像装置は、撮像素子と、前記撮像素子に対して被写体側に配置された複数種類の符号化マスクと、前記撮像素子による前記複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得する取得手段と、複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出する算出手段と、前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出する再構成処理手段と、を有し、前記再構成処理手段は、前記再構成処理において、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うことを特徴とする。
また、本発明の他の側面としての画像処理プログラムは、コンピュータに、複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得するステップと、複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出するステップと、前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出するステップと、を含む処理を実行させる画像処理プログラムであって、前記再構成処理は、複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うステップを含むことを特徴とする。
本発明によれば、高速かつ高画質で被写体の画像を再構成可能な画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供することができる。
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図１は、本発明の実施形態に係る画像処理装置１０４を有する撮像装置１００の概略図である。撮像装置１００は、符号化マスク１０１、撮像素子１０２、データ保持装置１０３および画像処理装置１０４を有する。
被写体１から発せられた光は、符号化マスク１０１を透過して撮像素子１０２に到達する。撮像素子１０２は、符号化マスク１０１によって符号化された光強度分布（符号化データ）を取得する。データ保持装置１０３は、撮像素子１０２により取得された符号化データを保存する。画像処理装置１０４は、データ保持装置１０３から読み込んだ符号化データに対して、マスク形状に対応する画像処理を行う。
以下、画像処理装置１０４が実行する画像処理方法について説明する。まず、図２を参照して、本発明の原理を説明する。図２は、被写体１と符号化データとの関係図である。
被写体１上の点から発せられた光は符号化マスク１０１をほぼ一様に照明し、撮像素子１０２の撮像面上には符号化マスク１０１の影が投影される。被写体１上の光軸Ｏ上の点でない点１ａから発せられた光は、符号化マスク１０１を斜めに照明する。そのため、撮像面上には、符号化マスク１０１に対して、光軸Ｏと物点１ａから発せられた光とがなす角θ、および符号化マスク１０１と撮像素子１０２との間隔Ｄによって定まるシフト量δだけずれた位置に符号化マスク１０１の影２０１が投影される。撮像素子１０２は、各物点から発せられた光によって形成された符号化マスク１０１の投影像が足し合わされたものを符号化データとして取得する。被写体１の輝度分布をずれ量δの関数ｏ（δ）、符号化マスク１０１の透過率を光軸Ｏに垂直な方向の位置座標ｘの関数ｔ（ｘ）とすると、撮像素子１０２によって取得される符号化データｉ（ｘ）は以下の式（１）で表すことができる。
ここで、＊は畳み込み積分を意味する。画像処理装置１０４は、式（１）を満足する被写体１の輝度分布ｏ（δ）を符号化マスク１０１の透過率ｔ（ｘ）および符号化データｉ（ｘ）から算出する。しかしながら、一般にこの演算は困難とされている。式（１）の両辺をフーリエ変換すると、畳み込みの定理により式（１）は以下の式（２）で表される。
Ｉ（ξ）＝Ｏ（ξ）×Ｔ（ξ） （２）
Ｉ（ξ），Ｏ（ξ），Ｔ（ξ）はそれぞれ符号化データｉ（ｘ）、被写体１の輝度分布ｏ（δ）、符号化マスク１０１の透過率ｔ（ｘ）のフーリエ変換であり、ξは空間周波数を表す。式（２）より、Ｉ（ξ）をＴ（ξ）で除算することでＯ（ξ）を取得することができる。しかしながら、一般に符号化マスクの周波数スペクトルＴは特定の周波数で値が非常に小さくなるゼロ点を有するため、除算によってその周波数領域での情報が過剰に増幅されたり、ノイズが増幅されてしまったりする。そのため、従来の方法では、ウィーナーフィルタ等を用いることで周波数領域でのゼロ落ちを避けていた。しかしながら、ウィーナーフィルタを用いた場合、回復効果が得られない周波数領域が生じるため、十分な画質の再生像を取得することができない。また、Ｌａｎｄｗｅｂｅｒ法などの繰り返し計算を用いる方法を使用する場合、演算に非常に重い負荷がかかってしまう。
Ｉ（ξ），Ｏ（ξ），Ｔ（ξ）はそれぞれ符号化データｉ（ｘ）、被写体１の輝度分布ｏ（δ）、符号化マスク１０１の透過率ｔ（ｘ）のフーリエ変換であり、ξは空間周波数を表す。式（２）より、Ｉ（ξ）をＴ（ξ）で除算することでＯ（ξ）を取得することができる。しかしながら、一般に符号化マスクの周波数スペクトルＴは特定の周波数で値が非常に小さくなるゼロ点を有するため、除算によってその周波数領域での情報が過剰に増幅されたり、ノイズが増幅されてしまったりする。そのため、従来の方法では、ウィーナーフィルタ等を用いることで周波数領域でのゼロ落ちを避けていた。しかしながら、ウィーナーフィルタを用いた場合、回復効果が得られない周波数領域が生じるため、十分な画質の再生像を取得することができない。また、Ｌａｎｄｗｅｂｅｒ法などの繰り返し計算を用いる方法を使用する場合、演算に非常に重い負荷がかかってしまう。
本発明では、このような問題を回避するために、複数の符号化データを使用する。複数の符号化データを使用するためには、複数種類の符号化マスクを用意する必要がある。以下、一例として、第１の符号化マスクとしてｔ１（ｘ）＝（１＋ｃｏｓ（２πξ０ｘ２））／２、第２の符号化マスクとしてｔ２（ｘ）＝（１＋ｓｉｎ（２πξ０ｘ２））／２で表される透過率分布を有する２種類の符号化マスクを用意する。ξ０は定数である。第１の符号化マスクおよび第２の符号化マスクを用いて取得される符号化データはそれぞれ、以下の式（３），（４）で表すことができる。
ｉ１（ｘ）＝ｏ（ｘ）＊（１＋ｃｏｓ（２πξ０ｘ２））／２ （３）
ｉ２（ｘ）＝ｏ（ｘ）＊（１＋ｓｉｎ（２πξ０ｘ２））／２ （４）
本発明では、画像処理装置１０４は、これらの符号化データに対して、以下の式（５）で表される重み付き平均を行うことで、合成データｉｍｉｘ（ｘ）を算出する。
ｉ２（ｘ）＝ｏ（ｘ）＊（１＋ｓｉｎ（２πξ０ｘ２））／２ （４）
本発明では、画像処理装置１０４は、これらの符号化データに対して、以下の式（５）で表される重み付き平均を行うことで、合成データｉｍｉｘ（ｘ）を算出する。
ｉｍｉｘ（ｘ）＝ｉ１＋ｊ×ｉ２ （５）
ｊは虚数単位である。式（５）は、式（３）および式（４）を代入することで、以下の式（６）に書き換えることができる。
ｊは虚数単位である。式（５）は、式（３）および式（４）を代入することで、以下の式（６）に書き換えることができる。
ｉｍｉｘ（ｘ）＝ｏ（ｘ）＊ｅｘｐ（２πｊξ０ｘ２）／２＋Ｃ１ （６）
Ｃ１は、複素定数である。式（６）の第１項は、被写体の輝度分布と新たな複素関数ｅｘｐ（２πｊξ０ｘ２）との畳み込み演算である。式（６）は、複素定数Ｃ１を除いて両辺をフーリエ変換すると、畳み込みの定理により以下の式（７）で表される。
Ｃ１は、複素定数である。式（６）の第１項は、被写体の輝度分布と新たな複素関数ｅｘｐ（２πｊξ０ｘ２）との畳み込み演算である。式（６）は、複素定数Ｃ１を除いて両辺をフーリエ変換すると、畳み込みの定理により以下の式（７）で表される。
Ｉｍｉｘ（ξ）＝Ｏ（ξ）×Ｃ２×ｅｘｐ（－πｊξ２／２ξ０） （７）
Ｃ２は複素定数であり、Ｉｍｉｘ（ξ）は合成データｉｍｉｘ（ｘ）のフーリエ変換である。ｅｘｐ（－πｊξ２／２ξ０）は、全周波数領域で絶対値が１となる、すなわちゼロ点が存在しない関数である。したがって、合成データｉｍｉｘ（ｘ）のスペクトルＩｍｉｘ（ξ）をｅｘｐ（－πｊξ２／２ξ０）で除算する、すなわち周波数空間での逆フィルタを乗じることによって全ての周波数領域の情報を回復することができる。最後に、周波数領域の情報に対して、逆フーリエ変換すると、高画質な被写体の画像（再構成画像）を取得することができる。また、フーリエ変換および逆フーリエ変換は、ＦＦＴ（高速フーリエ変換）や逆ＦＦＴなどを用いることで、高速に実行することができる。
Ｃ２は複素定数であり、Ｉｍｉｘ（ξ）は合成データｉｍｉｘ（ｘ）のフーリエ変換である。ｅｘｐ（－πｊξ２／２ξ０）は、全周波数領域で絶対値が１となる、すなわちゼロ点が存在しない関数である。したがって、合成データｉｍｉｘ（ｘ）のスペクトルＩｍｉｘ（ξ）をｅｘｐ（－πｊξ２／２ξ０）で除算する、すなわち周波数空間での逆フィルタを乗じることによって全ての周波数領域の情報を回復することができる。最後に、周波数領域の情報に対して、逆フーリエ変換すると、高画質な被写体の画像（再構成画像）を取得することができる。また、フーリエ変換および逆フーリエ変換は、ＦＦＴ（高速フーリエ変換）や逆ＦＦＴなどを用いることで、高速に実行することができる。
以上説明したように、上記方法を用いることで、複数の符号化データを式（５）に従って重み付き平均し、合成データを生成することで、逆フィルタによる再構成演算が可能となる。
上記説明では、特定の符号化マスクを使用したが、本発明はこれに限定されない。本発明の一般性を示すために、これまでの議論を一般化する。以下、任意の複素関数ｇ（ｘ）が任意の実関数Φ（ξ）を用いて以下の式（８），（９）で定義される場合について説明する。
Ｇ（ξ）＝ｅｘｐ（ｊΦ（ξ）） （８）
ｇ（ｘ）＝ＦＴ－１［Ｇ（ξ）］ （９）
ここで、ＦＴはフーリエ変換を意味し、ＦＴ－１は逆フーリエ変換を意味する。以下の説明では、Ｇ（ξ）を複素関数フィルタ、ｇ（ｘ）を複素関数マスクという。まず、複素関数マスクｇ（ｘ）の実部と虚部を用いて、以下の式（１０），（１１）で表される透過率分布を有する２種類の符号化マスクが作成される。
ｇ（ｘ）＝ＦＴ－１［Ｇ（ξ）］ （９）
ここで、ＦＴはフーリエ変換を意味し、ＦＴ－１は逆フーリエ変換を意味する。以下の説明では、Ｇ（ξ）を複素関数フィルタ、ｇ（ｘ）を複素関数マスクという。まず、複素関数マスクｇ（ｘ）の実部と虚部を用いて、以下の式（１０），（１１）で表される透過率分布を有する２種類の符号化マスクが作成される。
ｔ１（ｘ）＝（１＋Ｒｅ［ｇ（ｘ）］）／２ （１０）
ｔ２（ｘ）＝（１＋Ｉｍ［ｇ（ｘ）］）／２ （１１）
これらの符号化マスクを用いて取得される２つの符号化データ（符号化データ１および符号化データ２）に対して、式（５）と同様の複素数係数を使用した重み付き平均を行うことで、合成データｉｍｉｘ（ｘ）は以下の式（１２）で表される。
ｔ２（ｘ）＝（１＋Ｉｍ［ｇ（ｘ）］）／２ （１１）
これらの符号化マスクを用いて取得される２つの符号化データ（符号化データ１および符号化データ２）に対して、式（５）と同様の複素数係数を使用した重み付き平均を行うことで、合成データｉｍｉｘ（ｘ）は以下の式（１２）で表される。
ｉｍｉｘ（ｘ）＝ｏ（ｘ）＊ｇ（ｘ）／２＋Ｃ３ （１２）
Ｃ３は、複素定数である。式（１２）の第１項は、式（６）と同様に、被写体の輝度分布と複素関数との畳み込み演算である。式（１２）は、複素定数Ｃ３を除いて両辺をフーリエ変換すると、畳み込みの定理により以下の式（１３）で表される。
Ｃ３は、複素定数である。式（１２）の第１項は、式（６）と同様に、被写体の輝度分布と複素関数との畳み込み演算である。式（１２）は、複素定数Ｃ３を除いて両辺をフーリエ変換すると、畳み込みの定理により以下の式（１３）で表される。
Ｉｍｉｘ（ξ）＝Ｏ（ξ）×Ｇ（ξ）／２ （１３）
式（８）よりＧ（ξ）は全周波数領域で絶対値が１となるため、Ｇ（ξ）で除算することによって全ての周波数領域の被写体のスペクトルを復元することができる。このように、本発明は、上述した一例のように実関数Φ（ξ）を－πξ２／２ξ０に特定した場合の符号化マスクの場合だけでなく、すなわち特定の符号化マスクに限定されることなく、高画質な被写体の画像を取得することができる。
式（８）よりＧ（ξ）は全周波数領域で絶対値が１となるため、Ｇ（ξ）で除算することによって全ての周波数領域の被写体のスペクトルを復元することができる。このように、本発明は、上述した一例のように実関数Φ（ξ）を－πξ２／２ξ０に特定した場合の符号化マスクの場合だけでなく、すなわち特定の符号化マスクに限定されることなく、高画質な被写体の画像を取得することができる。
なお、本実施形態では、簡単のため１次元の場合について説明したが、２次元の場合にも容易に拡張することができる。
以下、図３を参照して、画像処理装置１０４が実行する画像処理方法について説明する。図３は、本実施形態の画像処理方法を示すフローチャートである。本実施形態の画像処理方法は、ソフトウエアおよびハードウエア上で動作する画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、画像処理装置１０４内に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施形態では画像処理装置１０４が画像処理方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施形態の画像処理方法を実行してもよい。また、本実施形態の画像処理プログラムに対応する回路を設け、回路を動作させることで本実施形態の画像処理方法を実行してもよい。
ステップＳ１では、画像処理装置１０４は、複数種類の符号化マスクを用いた被写体１の撮像に基づく複数の符号化データを取得する。すなわち、画像処理装置１０４は、取得手段として機能する。
ステップＳ２では、画像処理装置１０４は、式（５）で表される、複素数係数を用いた重み付き平均により、ステップＳ１で取得した複数の符号化データに基づく合成データを算出する。すなわち、画像処理装置１０４は、算出手段として機能する。
ステップＳ３では、画像処理装置１０４は、ステップＳ２で算出した合成データからオフセットを減算する。
ステップＳ４では、画像処理装置１０４は、ＦＦＴを実行し、変換データ（スペクトルデータ）を算出する。
ステップＳ５では、画像処理装置１０４は、変換データに対して、複素関数フィルタＧ（ξ）から定まる周波数空間での逆フィルタを乗ずる。
ステップＳ６では、画像処理装置１０４は、逆ＦＦＴを実行することで、被写体１の画像を再構成する。
本実施形態では、ステップＳ３以降の処理を再構成処理といい、ステップＳ４からステップＳ６までの処理を逆畳み込み演算という。すなわち、画像処理装置１０４は、再構成手段として機能する。
以上の方法によって、複数の符号化データから被写体の画像を高速かつ高画質で再構成することができる。
以下の各実施例では、被写体として図４に示される画像を使用して再構成画像を取得する場合について説明する。
本実施例では、符号化マスク１０１として、図５に示される符号化マスクを使用する。本実施例の符号化マスクは、同心円状のパターンを有する。本実施例の符号化マスクは左の領域にｔ１（ｘ）＝（１＋ｃｏｓ（２πξ０（ｘ２＋ｙ２）））／２で表される透過率分布を有し、右の領域にｔ２（ｘ）＝（１＋ｓｉｎ（２πξ０（ｘ２＋ｙ２）））／２で表される透過率分布を有する。
まず、画像処理装置１０４は、図５に示される符号化マスクを用いて生成された図６に示される符号化データをデータ保持装置１０３から読み込む。図６に示される符号化データは、ξ０＝０．０１７［１／ｐｉｘｅｌ］、サンプリング数として３００×６００を用いてシミュレーションによって生成される。
次に、画像処理装置１０４は、データ保持装置１０３から読み込んだ符号化データを左右２つの領域に分割し、各データをそれぞれ符号化データ１および符号化データ２として扱う。なお、画像処理装置１０４は、既に分割されてデータ保持装置１０３に保存された符号化データ１および符号化データ２を読み込んでもよい。
次に、画像処理装置１０４は、式（５）で表される重み付き平均により、符号化データ１および符号化データ２に基づく合成データを算出する。続いて、画像処理装置１０４は、合成データからオフセットを減算した後、ＦＦＴを実行することでスペクトルデータを算出する。
最後に、画像処理装置１０４は、スペクトルデータに対して、式（８）で定まる複素関数フィルタ（ｅｘｐ（－πｊ（ξ２＋η２）／２ξ０））の逆数を乗じた後、逆ＦＦＴを実行する。ここで、ηは、ｙ方向の空間周波数である。
画像処理装置１０４は、本実施例の画像処理方法を実行することで、図７に示される、被写体を良く再現している被写体の画像を取得することができる。図８は、符号化データ１のみを用いて、本実施例と同等の計算時間でウィーナーフィルタにより再構成された被写体の画像を示している。図７と図８を比較すると、本実施例の画像処理方法を実行することで取得された画像がより高画質であることがわかる。画像評価指標の１つであるＰＳＮＲを算出すると、本実施例の画像処理方法を実行することで取得された画像では３４．７、従来方法を実行することで取得された画像では２６．８となり、定量的に見ても画質が向上している。
本実施例では、符号化マスク１０１として、図９に示される符号化マスクを使用する。本実施例では、実関数Φ（ξ，η）を－π（ξ２＋０．５η２）／２ξ０とし、式（１０）を用いて算出された透過率分布を有する第１の符号化マスクおよび式（１１）を用いて算出された透過率分布を有する第２の符号化マスクが使用される。実関数Φは楕円形状を表すため、本実施例の符号化マスクは楕円形状を有する。
まず、画像処理装置１０４は、第１および第２の符号化マスクを用いて実施例１と同様のシミュレーションにより生成された、第１および第２の符号化マスクに対応する符号化データ１および符号化データ２を取得する。
次に、画像処理装置１０４は、式（５）で表される重み付き平均により、符号化データ１および符号化データ２に基づく合成データを算出する。続いて、画像処理装置１０４は、合成データからオフセットを減算した後、ＦＦＴを実行することでスペクトルデータを算出する。
最後に、画像処理装置１０４は、スペクトルデータに対して、式（８）で定まる複素関数フィルタの逆数を乗じた後、逆ＦＦＴを実行する。
画像処理装置１０４は、本実施例の画像処理方法を実行することで、図１０に示される、被写体を良く再現している被写体の画像を取得することができる。図１１は、符号化データ１のみを用いて、本実施例と同等の計算時間でウィーナーフィルタにより再構成された被写体の画像を示している。図１０と図１１を比較すると、本実施例の画像処理方法を実行することで取得された画像がより高画質であることがわかる。ＰＳＮＲを算出すると、本実施例の画像処理方法を実行することで取得された画像では２６．２、従来方法を実行することで取得された画像では２２．６となり、定量的に見ても画質が向上している。
本実施例では、符号化マスク１０１として、図１２に示される符号化マスクを使用する。本実施例では、実関数Φ（ξ，η）を－π（ξ２＋０．２｜η｜）／（２ξ０）とし、式（１０）を用いて算出された透過率分布を有する第１の符号化マスクおよび式（１１）を用いて算出された透過率分布を有する第２の符号化マスクが使用される。実関数Φは空間周波数の線形関数を有するため、本実施例の符号化マスクは概線状の形状を有する。
画像処理装置１０４は、図３のフローチャートに従って図１３に示される被写体の画像を取得することができる。図１４は、符号化データ１のみを用いて、本実施例と同等の計算時間でウィーナーフィルタにより再構成された被写体の画像を示している。図１３と図１４を比較すると、本実施例の画像処理方法を実行することで取得された画像がより高画質であることがわかる。ＰＳＮＲを算出すると、本実施例の画像処理方法を実行することで取得された画像では２１．８、従来方法を実行することで取得された画像では１７．１となり、定量的に見ても画質が向上している。
本実施例では、符号化マスク１０１として、図１５に示される符号化マスクを使用する。本実施例では、実関数Φ（ξ，η）を－π（｜ξ｜３＋｜η｜３）／ξ０で表される３次関数とし、式（１０）で表される透過率分布を有する第１の符号化マスクおよび式（１１）で表される透過率分布を有する第２の符号化マスクが使用される。なお、本実施例では、実関数Φ（ξ，η）は、３次関数であるが、２次関数などのｎ次関数であってもよい。
画像処理装置１０４は、図３のフローチャートに従って図１６に示される被写体の画像を取得することができる。図１７は、符号化データ１のみを用いて、本実施例と同等の計算時間でウィーナーフィルタにより再構成された被写体の画像を示している。図１６と図１７を比較すると、本実施例の画像処理方法を実行することで取得された画像がより高画質であることがわかる。ＰＳＮＲを算出すると、本実施例の画像処理方法を実行することで取得された画像では２４．５、従来方法を実行することで取得された画像では２１．２となり、定量的に見ても画質が向上している。
本発明では繰り返し計算を伴わないため、高速な処理が可能であるが、演算の一部をあらかじめ解析的に実行しておくことで更に高速な処理を行うことも可能である。
本実施例では、実関数Φ（ξ）を－πξ２／２ξ０とする。簡単のため、１次元で結果を示す。周波数空間での逆フィルタが施された合成データはＦＴ－１［Ｉｍｉｘ（ξ）／（Ｃ２×ｅｘｐ（－πｊξ２／２ξ０））］と表される。逆フィルタが施された合成データは、畳み込み定理により、以下の式（１４）で表される。
ｅｘｐ（４πｊξ０ｘｘ’）を乗じて積分を行うことはフーリエ変換を行うことと等価であるため、この畳み込み演算は１回のＦＦＴで算出することができる。数値的に周波数空間での逆フィルタを乗ずるためには、少なくとも合成データのスペクトルを算出する場合と、フィルタが乗じられたスペクトルを逆フーリエ変換する場合の最低２回のＦＦＴを要する。しかしながら、本実施例で示したように、演算の一部をあらかじめ解析的に実行しておくことで、複素パターンを乗じた後、１回のＦＦＴで画像を再構成することが可能となり、演算の高速化を実現することができる。
合成データｉｍｉｘ（ｘ）から被写体の輝度分布ｏ（ｘ）を算出する演算は、実空間での演算のみで実行することも可能である。以下の式（１５）は、式（１３）を変形したものである。
Ｏ（ξ）＝Ｉｍｉｘ（ξ）／Ｇ（ξ）×２ （１５）
式（１５）は、両辺を逆フーリエ変換することで、以下の式（１６）で表される。
式（１５）は、両辺を逆フーリエ変換することで、以下の式（１６）で表される。
ｏ（ｘ）＝ｉｍｉｘ（ｘ）＊ＦＴ－１［２／Ｇ（ξ）］ （１６）
式（１６）において、ＦＴ－１［２／Ｇ（ξ）］は実空間での逆フィルタである。式（１６）より、被写体の輝度分布は、合成データと実空間での逆フィルタとの畳み込み演算によって算出できることがわかる。実空間での逆フィルタは、被写体に依らないため、あらかじめ算出しておくことが可能である。そのため、画像を再構成する場合、合成データとの畳み込み演算のみを実行すればよい。
式（１６）において、ＦＴ－１［２／Ｇ（ξ）］は実空間での逆フィルタである。式（１６）より、被写体の輝度分布は、合成データと実空間での逆フィルタとの畳み込み演算によって算出できることがわかる。実空間での逆フィルタは、被写体に依らないため、あらかじめ算出しておくことが可能である。そのため、画像を再構成する場合、合成データとの畳み込み演算のみを実行すればよい。
図１８は、画像処理装置１０４により実行される本実施例の画像処理方法を示すフローチャートである。
ステップＳ２１では、画像処理装置１０４は、複数種類の符号化マスクを用いた被写体１の撮像に基づく複数の符号化データを取得する。すなわち、画像処理装置１０４は、取得手段として機能する。
ステップＳ２２では、画像処理装置１０４は、式（５）で表される、複素数係数を用いた重み付き平均により、ステップＳ２１で取得した複数の符号化データに基づく合成データを算出する。すなわち、画像処理装置１０４は、算出手段として機能する。
ステップＳ２３では、画像処理装置１０４は、ステップＳ２２で算出した合成データからオフセットを減算する。
ステップＳ２４では、画像処理装置１０４は、ステップＳ２３でオフセットが減算された後の合成データとあらかじめ算出しておいた実空間での逆フィルタとの畳み込み演算（逆畳み込み演算）を行うことで、被写体１の画像を再構成する。
本実施例では、ステップＳ２３及びＳ２４の処理を再構成処理という。すなわち、画像処理装置１０４は、再構成手段として機能する。
以上の方法によって、複数の符号化データから被写体の画像を高速かつ高画質で再構成することができる。
本実施例では、符号化マスク１０１として、実施例１と同じ図５に示される符号化マスクを使用する。画像処理装置１０４は、あらかじめこの符号化マスクに対応する実空間での逆フィルタを算出しておく。
画像処理装置１０４は、まず、第１および第２の符号化マスクを用いて実施例１と同様のシミュレーションにより生成された、第１および第２の符号化マスクに対応する符号化データ１および符号化データ２を取得する。次に、画像処理装置１０４は、式（５）で表される重み付き平均により、符号化データ１および符号化データ２に基づく合成データを算出する。続いて、画像処理装置１０４は、合成データからオフセットを減算する。最後に、画像処理装置１０４は、オフセットが除かれた合成データに対し、あらかじめ算出しておいた実空間での逆フィルタを畳み込む。図１９は、本実施例の画像処理方法を実行することで取得された被写体の画像であり、被写体を良く再現している。
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
各実施例では、２つの符号化マスクを隣り合わせに配置する方法を説明したが、マスクの配置方法はこれに限られるものではない。空間的に異なる位置に異なる符号化マスクが配置されていればよく、更に言えば、複数の異なる符号化マスクによって符号化された符号化データを取得できれば本発明の効果を得ることができる。
本実施形態では、合成データから被写体の画像を再構成する方法として、合成データのスペクトルを複素関数フィルタＧ（ξ）で除算する方法を説明したが、これ以外の方法でも再構成は可能である。例えば、複素関数フィルタＧ（ξ）から生成されるウィーナーフィルタなどを合成データのスペクトルに乗じてもよい。逆畳み込み処理を行う演算方法であれば、本発明の効果を得ることができる。
本実施形態では、周波数スペクトルの値がゼロとなる箇所をゼロ点と称してきたが、ゼロ点として取り扱われるべき箇所は周波数スペクトルの値が厳密にゼロとなる箇所のみではない。特に、数値計算でデータを処理する場合、厳密なゼロ点というのは現れないことが多い。しかしながら、このような場合においても、他の領域に比べて周波数スペクトルの値が小さい領域は存在しており、その領域がゼロ点として称される箇所となる。例えば、ＦＦＴなどの数値計算で得られる周波数スペクトルの絶対値の最大値に対して、周波数スペクトルの値が十分に小さい点および領域はゼロ点として扱ってもよい。具体的には、周波数スペクトルの絶対値の最大値に対して、周波数スペクトルの値が０．１５倍以下の点および領域はゼロ点として扱ってもよい。また、式（１０）および式（１１）で定義される２つの符号化マスクの透過率には、負となる箇所を避けるために定数によるオフセットが足されている。このような符号化マスクの場合、周波数スペクトルの原点を除く領域での絶対値の最大値に対して、周波数スペクトルの値が０．１５倍以下の点および領域をゼロ点として扱えばよい。
本発明は、複数種類の符号化マスクのゼロ点が互いに重ならない場合に特に有効である。例えば、実関数Φ（ξ，η）をπ（ξ２＋η２）／０．０３４とした場合の第１および第２の符号化マスクの空間スペクトルの断面図を図２０に示す。実線が第１の符号化マスクの空間スペクトルの断面、破線が第２の符号化マスクの空間スペクトルの断面を表している。各符号化マスクの空間スペクトルにはゼロ点が存在するが、それぞれのゼロ点の位置はずれている。互いのゼロ点が重なっていないため、重み付き平均を行うことで、互いのマスクで取得できていない情報を補い合うことができ、結果として高画質で画像を再構成することができる。
本実施形態では、式（８）において、複素関数フィルタＧ（ξ）として全周波数領域で絶対値が１となる複素関数を用いているが、本発明はこれに限定されない。例えば、ａ（ξ、η）×ｅｘｐ（ｊΦ（ξ、η））で表される、絶対値に減衰や変調を有する関数であってもよい。特に、絶対値を表す関数ａ（ξ、η）がゼロ点を持たなければ、高い回復効果を得ることができる。また、厳密にゼロ点がなくなっている必要はない。ゼロ点が存在する場合は、ウィーナーフィルタ等を用いて回復処理を行えばよい。また、式（５）で表される重み付き平均により、ゼロ点の数またはゼロ点の領域の大きさが１つの符号化データを用いる場合に比べて小さくなっているので、１つの符号化データを用いた場合よりも高画質な再構成画像を取得することができる。
本実施形態では、空間周波数に対して特段の限定を行っていないが、実際に作成できるマスクには加工できる最小サイズが決まっており、これにより符号化マスクが有することが可能な最大周波数が決まってしまう。したがって、厳密に言えば、空間スペクトルにゼロ点が存在しない符号化マスクは存在しえない。しかしながら、本発明を実施する場合、対象とする周波数領域内で関数ａ（ξ、η）にゼロ点が存在しなければ、本発明の効果を得ることができる。例えば、以下の式（１７）で表される、符号化データのサンプリングピッチ（サンプリング間隔）Δの逆数から定まる周波数よりも小さな周波数領域内でゼロ点がなければよい。
ξｍａｘ＝１／２Δ （１７）
本実施形態では、式（１０）および式（１１）を用いて、複素関数マスクｇ（ｘ）から符号化マスクを生成する方法を説明したが、本発明はこれに限定されない。例えば、複素関数マスクｇ（ｘ）の振幅が大きい場合、規格化などを施した後に式（１０）および式（１１）を用いて符号化マスクを生成してもよいし、式（１０）および式（１１）において加える定数を１とは異なる値で調整してもよい。各符号化マスクが複素関数ｇ（ｘ）の実部と虚部をそれぞれ含む形状をしていれば、本発明の効果を得ることができる。
本実施形態では、式（１０）および式（１１）を用いて、複素関数マスクｇ（ｘ）から符号化マスクを生成する方法を説明したが、本発明はこれに限定されない。例えば、複素関数マスクｇ（ｘ）の振幅が大きい場合、規格化などを施した後に式（１０）および式（１１）を用いて符号化マスクを生成してもよいし、式（１０）および式（１１）において加える定数を１とは異なる値で調整してもよい。各符号化マスクが複素関数ｇ（ｘ）の実部と虚部をそれぞれ含む形状をしていれば、本発明の効果を得ることができる。
更に言えば、第１および第２の符号化マスクの形状は、複素関数ｇ（ｘ）の実部と虚部を陽に含む形状である必要はない。実部と虚部から重み付き平均や線形変換等で生成される新たな関数１，２をそれぞれ含む符号化マスクを用いてもよい。この場合、合成データを生成する場合に、この重みから算出される複素数係数をかけて平均化すればよい。
本実施形態では、２種類の符号化マスクを用いる場合について説明したが、本発明はこれに限定されない。複素関数ｇ（ｘ）の実部と虚部を適当に分割して新たな関数を生成し、それらから３種類以上の符号化マスクを生成してもよい。
本実施形態では、実関数Φ（ξ）から生成された複素関数フィルタＧ（ξ）を用いて周波数空間および実空間での逆フィルタを算出したが、本発明はこれに限定されない。例えば、符号化マスクの透過率分布から複素数係数を用いた重み付き平均により、合成マスクｇ’（ｘ）を算出し、合成マスクｇ’（ｘ）からフーリエ変換によって合成スペクトルＧ’（ξ）を求め、合成スペクトルＧ’（ξ）から逆フィルタを生成してもよい。
本発明では、周波数スペクトルを算出する際、または周波数スペクトルから実空間でのデータを算出する際、フーリエ変換と逆フーリエ変換のどちらを用いてもよい。すべての演算において、一貫した組み合わせになっていればよい。変換方法の違いによって本発明の趣旨は変わるものではない。
式（１２）で算出される合成データが持つオフセットＣ３を算出する方法は種々存在する。例えば、合成データの平均値をオフセットＣ３として決定すればよい。また、符号化データの周辺領域の値をオフセットＣ３として決定してもよい。また、画像を合成する前に符号化データからオフセットを除いても構わない。その際のオフセットとして、画像の平均値や、画像の周辺領域の値を用いればよい。
１０１ 符号化マスク
Claims (25)
- 複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得するステップと、
複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出するステップと、
前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出するステップと、を有し、
前記再構成処理は、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うステップを有することを特徴とする画像処理方法。 - 前記逆畳み込み演算では、前記複数種類の符号化マスクの透過率分布に基づいて算出される周波数空間での逆フィルタが用いられることを特徴とする請求項１に記載の画像処理方法。
- 前記逆畳み込み演算は、
フーリエ変換によって、前記合成データから変換データを算出するステップと、
前記変換データに対して、前記周波数空間での逆フィルタを乗じるステップと、
逆フーリエ変換を行うステップと、を有することを特徴とする請求項２に記載の画像処理方法。 - 前記周波数空間での逆フィルタは、前記複数種類の符号化マスクの透過率分布から複素数係数を用いた重み付き平均により算出される合成マスクから、フーリエ変換によって算出される合成スペクトルに基づいて算出されることを特徴とする請求項２または３に記載の画像処理方法。
- 前記逆畳み込み演算では、前記複数種類の符号化マスクの透過率分布に基づいて算出される実空間での逆フィルタが用いられることを特徴とする請求項１に記載の画像処理方法。
- 前記逆畳み込み演算は、前記合成データに対して前記実空間での逆フィルタを畳み込むステップを有することを特徴とする請求項５に記載の画像処理方法。
- 前記実空間での逆フィルタは、前記複数種類の符号化マスクの透過率分布から複素数係数を用いた重み付き平均により算出される合成マスクから、フーリエ変換によって算出される合成スペクトルに基づいて算出されることを特徴とする請求項５または６に記載の画像処理方法。
- 前記再構成処理は、前記複数の符号化データから定数を減算するステップを有することを特徴とする請求項１から７のいずれか１項に記載の画像処理方法。
- 前記再構成処理は、前記合成データから複素数の定数を減算するステップを有することを特徴とする請求項１から７のいずれか１項に記載の画像処理方法。
- 前記定数は、前記複数の符号化データまたは前記合成データの平均値に基づいて決定されることを特徴とする請求項８または９に記載の画像処理方法。
- 前記定数は、前記複数の符号化データまたは前記合成データの周辺領域の値に基づいて決定されることを特徴とする請求項８または９に記載の画像処理方法。
- 前記複数種類の符号化マスクの透過率分布には、複数の関数の重み付き平均で表される第１の透過率分布と、前記第１の透過率分布とは異なる複数の関数の重み付き平均で表される第２の透過率分布と、が含まれることを特徴とする請求項１から１１のいずれか１項に記載の画像処理方法。
- 前記第１の透過率分布の周波数スペクトルの最大値に対して０．１５倍以下となる領域と、前記第２の透過率分布の周波数スペクトルの最大値に対して０．１５倍以下となる領域と、は異なることを特徴とする請求項１２に記載の画像処理方法。
- 前記複素数係数は、前記第１の透過率分布を表す複数の関数の重み付き平均の重みおよび前記第２の透過率分布を表す複数の関数の重み付き平均の重みに基づいて算出されることを特徴とすることを特徴とする請求項１２または１３に記載の画像処理方法。
- 前記複数種類の符号化マスクの透過率分布は、複素関数で表される複素関数マスクに基づいて生成されることを特徴とする請求項１２から１４のいずれか１項に記載の画像処理方法。
- 前記第１および第２の透過率分布は、前記複素関数に基づくことを特徴とする請求項１５に記載の画像処理方法。
- 前記第１および第２の透過率分布は、前記複素関数の実部および虚部の重み付き平均により表され、
前記複素関数は、複素関数フィルタの逆フーリエ変換で表され、
前記逆畳み込み演算は、
フーリエ変換によって、前記合成データから変換データを算出するステップと、
前記複素関数フィルタに基づいて算出される周波数空間での逆フィルタを乗じるステップと、
逆フーリエ変換を行うステップと、を有することを特徴とする請求項１５または１６に記載の画像処理方法。 - 前記第１および第２の透過率分布は、前記複素関数の実部および虚部の重み付き平均により表され、
前記複素関数は、複素関数フィルタの逆フーリエ変換で表され、
前記逆畳み込み演算は、前記複素関数フィルタに基づいて算出される実空間での逆フィルタを前記合成データに畳み込むステップを有することを特徴とする請求項１５または１６に記載の画像処理方法。 - 前記周波数空間での複素関数フィルタは、２次元の各方向の空間周波数をそれぞれξ，ηとするとき、正の実関数ａ（ξ,η）および実関数Φ（ξ,η）を用いて、ａ（ξ,η）×ｅｘｐ（ｊΦ（ξ,η））と表され、
前記正の実関数ａ（ξ,η）は、前記符号化データのサンプリング間隔をΔ、前記正の実関数ａ（ξ,η）の最大値をａｍａｘとするとき、
（ξ２＋η２）１／２≦１／２Δ
なる条件式を満足する領域内で、
ａ（ξ,η）≧０．１５ａｍａｘ
なる条件式を満足することを特徴とする請求項１７に記載の画像処理方法。 - 前記実関数Φ（ξ,η）は、前記空間周波数ξ，ηの少なくとも一方の線形関数を含むことを特徴とする請求項１９に記載の画像処理方法。
- 前記実関数Φ（ξ,η）は、前記空間周波数ξ，ηの少なくとも一方の２次関数を含むことを特徴とする請求項１９に記載の画像処理方法。
- 前記実関数Φ（ξ,η）は、前記空間周波数ξ，ηの少なくとも一方の３次関数を含むことを特徴とする請求項１９に記載の画像処理方法。
- 複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得する取得手段と、
複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出する算出手段と、
前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出する再構成手段と、を有し、
前記再構成手段は、前記再構成処理において、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うことを特徴とする画像処理装置。 - 撮像素子と
前記撮像素子に対して被写体側に配置された複数種類の符号化マスクと、
前記撮像素子による前記複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得する取得手段と、
複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出する算出手段と、
前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出する再構成処理手段と、を有し、
前記再構成処理手段は、前記再構成処理において、前記複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うことを特徴とする撮像装置。 - コンピュータに、
複数種類の符号化マスクを用いた被写体の撮像に基づく複数の符号化データを取得するステップと、
複素数係数を用いた重み付き平均により、前記複数の符号化データに基づく合成データを算出するステップと、
前記合成データおよび前記複数種類の符号化マスクに基づいて、前記被写体の画像を再構成処理によって算出するステップと、を含む処理を実行させる画像処理プログラムであって、
前記再構成処理は、複数種類の符号化マスクの透過率分布に基づいて、前記合成データに対し逆畳み込み演算を行うステップを含むことを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/701,865 US20200104981A1 (en) | 2017-06-09 | 2019-12-03 | Image processing method, image processing apparatus, imaging apparatus, and storage medium |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-113952 | 2017-06-09 | ||
| JP2017113952 | 2017-06-09 | ||
| JP2018-042411 | 2018-03-08 | ||
| JP2018042411A JP2019003609A (ja) | 2017-06-09 | 2018-03-08 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/701,865 Continuation US20200104981A1 (en) | 2017-06-09 | 2019-12-03 | Image processing method, image processing apparatus, imaging apparatus, and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018225547A1 true WO2018225547A1 (ja) | 2018-12-13 |
Family
ID=64566250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/020261 WO2018225547A1 (ja) | 2017-06-09 | 2018-05-28 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2018225547A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009526205A (ja) * | 2006-02-06 | 2009-07-16 | キネテイツク・リミテツド | 符号化開口結像法向けの処理方法 |
| JP2010039448A (ja) * | 2008-08-08 | 2010-02-18 | Canon Inc | 画像撮影装置およびその距離演算方法と合焦画像取得方法 |
| WO2013088690A1 (ja) * | 2011-12-12 | 2013-06-20 | パナソニック株式会社 | 撮像装置、撮像システム、撮像方法および画像処理方法 |
| WO2018055831A1 (ja) * | 2016-09-26 | 2018-03-29 | 株式会社日立製作所 | 撮像装置 |
-
2018
- 2018-05-28 WO PCT/JP2018/020261 patent/WO2018225547A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009526205A (ja) * | 2006-02-06 | 2009-07-16 | キネテイツク・リミテツド | 符号化開口結像法向けの処理方法 |
| JP2010039448A (ja) * | 2008-08-08 | 2010-02-18 | Canon Inc | 画像撮影装置およびその距離演算方法と合焦画像取得方法 |
| WO2013088690A1 (ja) * | 2011-12-12 | 2013-06-20 | パナソニック株式会社 | 撮像装置、撮像システム、撮像方法および画像処理方法 |
| WO2018055831A1 (ja) * | 2016-09-26 | 2018-03-29 | 株式会社日立製作所 | 撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Naimi et al. | Medical image denoising using dual tree complex thresholding wavelet transform and Wiener filter | |
| Ng et al. | Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods | |
| Moisan | Periodic plus smooth image decomposition | |
| Lou et al. | Image recovery via nonlocal operators | |
| KR100907120B1 (ko) | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 | |
| Pal et al. | A brief survey of recent edge-preserving smoothing algorithms on digital images | |
| Zada et al. | Contribution study of monogenic wavelets transform to reduce speckle noise in digital speckle pattern interferometry | |
| Chountasis et al. | Applications of the Moore-Penrose inverse in digital image restoration | |
| JP2019003609A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| JP6344934B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 | |
| JP2017010093A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP2019169000A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2016087473A (ja) | ２次元のフリンジ模様の復調において軸外周波数を低減するための非線形処理の方法、記憶媒体、および撮影システム | |
| Lavatelli et al. | A motion blur compensation algorithm for 2D DIC measurements of deformable bodies | |
| WO2018225547A1 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| Sheer et al. | The effect of regularization parameter within non-blind restoration algorithm using modified iterative wiener filter for medical image | |
| Katkovnik et al. | Multiwavelength surface contouring from phase-coded noisy diffraction patterns: wavelength-division optical setup | |
| KR20130104410A (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
| JP2018206274A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| Zhu et al. | Image Restoration by Second‐Order Total Generalized Variation and Wavelet Frame Regularization | |
| Razgulin et al. | Fourier domain iterative approach to optical sectioning of 3D translucent objects for ophthalmology purposes | |
| Liu et al. | Directional fractional-order total variation hybrid regularization for image deblurring | |
| JP2011182330A (ja) | 画像処理方法及び画像処理装置及びプログラム | |
| CN113658317B (zh) | 电子显微镜连拍图像处理方法和装置 | |
| van der Gracht et al. | Iterative restoration of wavefront coded imagery for focus invariance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18813887 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18813887 Country of ref document: EP Kind code of ref document: A1 |