WO2017034046A1 - 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치 - Google Patents

멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치 Download PDF

Info

Publication number
WO2017034046A1
WO2017034046A1 PCT/KR2015/008813 KR2015008813W WO2017034046A1 WO 2017034046 A1 WO2017034046 A1 WO 2017034046A1 KR 2015008813 W KR2015008813 W KR 2015008813W WO 2017034046 A1 WO2017034046 A1 WO 2017034046A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blur
psfs
depth
comparing
Prior art date
Application number
PCT/KR2015/008813
Other languages
English (en)
French (fr)
Inventor
최상길
경종민
문준호
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
주식회사 듀얼어퍼처인터네셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단, 주식회사 듀얼어퍼처인터네셔널 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2015/008813 priority Critical patent/WO2017034046A1/ko
Publication of WO2017034046A1 publication Critical patent/WO2017034046A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Definitions

  • the following embodiments relate to an apparatus and method for extracting depth from an image, and more particularly, a technique for extracting depth from an image by comparing images acquired through a plurality of apertures included in a multi-aperture camera. It is about.
  • a technique for extracting depth from an existing image has large apertures and small apertures (hereinafter, large apertures and small apertures each mean large and small apertures in terms of relative size to each other),
  • the depth in the image is estimated based on the change in blur between the image acquired through the large aperture and the image acquired through the small aperture.
  • the technique of extracting the depth from the existing image is obtained through the large aperture of the blur in the image obtained through the small aperture. It may cause a blur size reversal that becomes larger than the blur size in the captured image.
  • the following embodiments propose a technique for estimating depth in an image in consideration of optical diffraction in an image acquired through a small aperture.
  • One embodiment provides a depth extraction method and apparatus for estimating depth in an image in consideration of optical diffraction in an image obtained through a small aperture.
  • one embodiment provides a depth extraction method and apparatus for estimating depth in an image by debluring an image acquired through a small aperture and then comparing it with an image obtained through a large aperture. .
  • one embodiment provides a depth extraction method and apparatus for estimating depth in an image by blurring an image acquired through a large aperture and then comparing it with an image obtained through a small aperture.
  • one embodiment provides a depth extraction method and apparatus for estimating depth in an image by blurring and comparing each of the image acquired through the small aperture and the image acquired through the large aperture.
  • a depth in a multi-aperture camera comprising a first aperture for introducing an optical signal of a first wavelength and a second aperture for introducing an optical signal of a second short wavelength below the first wavelength.
  • the extraction method may include determining whether optical diffraction occurs in a first image acquired through the first aperture; And when the optical diffraction occurs as a result of the determination, comparing the first image and the second image acquired through the second aperture based on the blur pixels due to the optical diffraction phenomenon Estimating the depth.
  • the estimating depth by comparing the first image and the second image may include convolution by applying a plurality of point spread functions (PSFs) to the first image based on a pixel range of blur caused by the optical diffraction phenomenon. ); Comparing each of the first blur images obtained as a result of the convolution of the first image with the second image; Convolving by applying the plurality of PSFs to the second image based on the pixel range of blur caused by the optical diffraction phenomenon; Comparing each of the second blur images obtained as a result of the convolution of the second image with the first image; Selecting one of the plurality of PSFs based on a result of comparing each of the first blur images with the second image and a result of comparing the second blur images with the first image; And estimating a depth in the first image and the second image using the selected PSF.
  • PSFs point spread functions
  • any one of the plurality of PSFs corresponds to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image. Weighting each of the plurality of PSFs; Weighting each of the plurality of PSFs corresponding to the second blur images based on a result of comparing the similarity of the blur size between each of the second blur images and the first image; And selecting one of the PSFs to which the highest weight is assigned among the plurality of PSFs.
  • Comparing the first image and the second image and estimating the depth may include deconvolving and debluring the first image based on the number of pixels of blur caused by the optical diffraction phenomenon; Convolving by applying a plurality of PSFs to the deblurred first image; Comparing each of the first blur images obtained as a result of convolution of the deblurred first image with the second image; Selecting one of the plurality of PSFs based on the comparison result; And estimating a depth in the first image and the second image using the selected PSF.
  • the method may include selecting one of the PSFs corresponding to the first blur image having the highest similarity with the second image among the plurality of PSFs.
  • Comparing the first image and the second image and estimating the depth may include convolving the second image based on the number of pixels of the blur due to the optical diffraction phenomenon; Convolving by applying a plurality of PSFs to the first image; Comparing each of the first blur images obtained as a result of the convolution of the first image with the blurred second image; Selecting one of the plurality of PSFs based on the comparison result; And estimating a depth in the first image and the second image using the selected PSF.
  • Selecting one of the plurality of PSFs corresponds to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the blurred second image.
  • the method may include selecting one of the PSFs corresponding to the first blur image having the highest similarity with the blurred second image among the plurality of PSFs.
  • the depth extraction method of the multi-aperture camera may include: convolving by applying a plurality of PSFs to the first image when the optical diffraction does not occur as a result of the determination; Comparing each of the first blur images obtained as a result of the convolution of the first image with the second image; Selecting one of the plurality of PSFs based on the comparison result; And estimating a depth in the first image and the second image using the selected PSF.
  • the method may include selecting one of the PSFs corresponding to the first blur image having the highest similarity with the second image among the plurality of PSFs.
  • a depth in a multi-aperture camera comprising a first aperture for introducing an optical signal of a first wavelength and a second aperture for introducing an optical signal of a second short wavelength below the first wavelength.
  • the extraction apparatus may include a determiner configured to determine whether optical diffraction occurs in the first image acquired through the first aperture; And when the optical diffraction occurs as a result of the determination, comparing the first image and the second image acquired through the second aperture based on the blur pixels due to the optical diffraction phenomenon And an estimator for estimating the depth.
  • the estimator is configured to convolution by applying a plurality of point spread functions (PSFs) to the first image based on the pixel range of the blur caused by the optical diffraction phenomenon, and is obtained as a result of the convolution of the first image.
  • PSFs point spread functions
  • Comparing each of the first blur images with the second image, convolving by applying the plurality of PSFs to the second image based on the pixel range of the blur due to the optical diffraction phenomenon, and convoluting the second image Compares each of the second blur images obtained with the first image, compares each of the first blur images with the second image, and compares the second blur images with the first image. Select one PSF of the plurality of PSFs as a basis, and using the selected one of the PSFs to the first image and the second image The depth can be estimated.
  • PSFs point spread functions
  • the estimator deconvolves and deblur the first image based on the number of blur pixels due to the optical diffraction phenomenon, and convolutions by applying a plurality of PSFs to the deblurred first image. Comparing each of the first blur images obtained as a result of the deblurred first image to be convolved with the second image, selecting one of the PSFs among the plurality of PSFs based on the comparison result, The depth of the first image and the second image may be estimated using the selected PSF.
  • the estimator blurs the second image by convolving the second image based on the number of blur pixels due to the optical diffraction phenomenon, convolutions by applying a plurality of PSFs to the first image, and obtains the result of the convolution of the first image. Compare each of the first blur images to be compared with the blurred second image, select one of the plurality of PSFs based on the comparison result, and use the selected one of the first PSFs. The depth in the image and the second image can be estimated.
  • One embodiment may provide a depth extraction method and apparatus for estimating depth in an image in consideration of an optical diffraction phenomenon in an image obtained through a small aperture.
  • one embodiment may provide a depth extraction method and apparatus for estimating depth in an image by debluring an image acquired through a small aperture and then comparing the image acquired through the large aperture.
  • embodiments may provide a depth extraction method and apparatus for estimating depth in an image by blurring an image acquired through a large aperture and then comparing the image obtained through a small aperture.
  • embodiments may provide a depth extraction method and apparatus for estimating depth in an image by blurring and comparing each of the image acquired through the small aperture and the image acquired through the large aperture.
  • FIG. 1 is a view for explaining an optical diffraction phenomenon according to an embodiment.
  • FIG. 2 is a diagram illustrating a blur size in an image acquired through each of a plurality of apertures when an optical diffraction phenomenon is not generated, according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a blur size in an image acquired through each of a plurality of apertures when an optical diffraction phenomenon occurs according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a size difference of blur between images acquired through each of the plurality of apertures, according to an exemplary embodiment.
  • 5A to 5C are diagrams for describing a method of estimating depth in consideration of an optical diffraction phenomenon, according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a depth extraction method of a multi-aperture camera, according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to another exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to another exemplary embodiment.
  • FIG. 10 is a block diagram illustrating a depth extraction apparatus in a multi-aperture camera according to an exemplary embodiment.
  • FIG. 1 is a view for explaining an optical diffraction phenomenon according to an embodiment.
  • the multi-aperture camera 100 may include a first aperture 110 through which an optical signal having a first wavelength is introduced, and a second wavelength to a second wavelength may be shorter than the first wavelength.
  • the first aperture 110 injects an optical signal of a first wavelength having a red wavelength of 650 nm and the second aperture 120 injects an optical signal of a second wavelength having a green wavelength of 510 nm.
  • the present invention is not limited thereto, and the first aperture 110 may introduce an optical signal having a first wavelength, which is an infrared wavelength, and the second aperture 120 may receive an optical signal having a second wavelength, which is a visible wavelength. It can also be introduced. That is, the optical signal having the second wavelength introduced by the second aperture 120 may be an optical signal having a short wavelength below the wavelength of the optical signal having the first wavelength introduced by the first aperture 110.
  • the first aperture 110 since the first aperture 110 has a smaller aperture size than the second aperture 120, the first aperture 110 may mean a small aperture, and the second aperture 120 may refer to the first aperture 110. Since it has a large aperture size compared to), it can mean a large aperture.
  • the image sensor 130 is adaptively moved to positions 1, 2, or 3 so that the image plane on which the image of the subject is formed is moved, and thus, through each of the first aperture 110 and the second aperture 120. Images whose blur is changed by an incoming light signal may be acquired.
  • the image sensor 130 when the image sensor 130 is disposed at the position 1 or 3, the front and rear blur of the subject is focused by the light signal flowing through each of the first aperture 110 and the second aperture 120. Images may be acquired, and when the image sensor 130 is disposed at the position 2, the subject is focused by an optical signal introduced through each of the first aperture 110 and the second aperture 120. Images can be obtained.
  • an optical diffraction phenomenon may occur in the first image acquired by the optical signal flowing through the first aperture 110.
  • the size of the blur in the first image acquired by the optical signal flowing through the first aperture 110 is the second aperture 120. Is smaller than the blur in the second image obtained by the optical signal flowing through the optical signal, but is acquired by the optical signal flowing through the first aperture 110 when the image sensor 130 is disposed at position 2.
  • the size of the blur in the first image may be greater than the size of the blur in the second image acquired by the optical signal flowing through the second aperture 120. Detailed description thereof will be described with reference to FIGS. 2 and 3.
  • the depth extraction apparatus may use the geometric optical calculation (for example, using the same method as the general depth estimation method) to determine the image. Depth can be estimated. For example, the depth extraction apparatus may convolution by applying a plurality of point spread functions (PSFs) to the first image acquired through the first aperture 110 to generate first blur images, and then Each of the first blur images may be compared with a second image obtained through the second aperture 120 to select one of the plurality of PSFs based on the comparison result. Thus, the depth extraction apparatus may estimate the depth in the first image and the second image by using any one selected PSF.
  • PSFs point spread functions
  • the depth extracting apparatus is based on a result of comparing the similarity of the blur size between each of the first blur images and the second image, and thus the second image among the plurality of PSFs corresponding to the first blur images. It is possible to select any one of the PSFs corresponding to the first blur image having the highest similarity with the blur size.
  • the depth extracting apparatus is configured to obtain the first image obtained through the first aperture 110 based on the blur pixels due to the optical diffraction phenomenon. By comparing the first image and the second image acquired through the second aperture 120, the depth may be estimated. Detailed description thereof will be described below.
  • FIG. 2 is a diagram illustrating a blur size in an image acquired through each of a plurality of apertures when an optical diffraction phenomenon is not generated, according to an exemplary embodiment.
  • the size of the blur 210 in the first image acquired through the first aperture Is smaller than the size of the blur 220 in the second image obtained through the second aperture.
  • the size of the blur 210 in the first image formed for the same subject may be smaller than the size of the blur 220 in the second image.
  • FIG. 3 is a diagram illustrating a blur size in an image acquired through each of a plurality of apertures when an optical diffraction phenomenon occurs according to an exemplary embodiment.
  • the size of the blur 310 in the first image acquired through the first aperture is equal to the second aperture. It may be larger than the size of the blur 320 in the second image obtained through the aperture. For example, when optical diffraction occurs in the first image, a blur size reversal may occur in which the size of the blur 310 becomes larger than the size of the blur 320 in the second image in the first image formed for the same subject. Can be.
  • FIG. 4 is a diagram illustrating a size difference of blur between images acquired through each of the plurality of apertures, according to an exemplary embodiment.
  • a second image obtained through blur and a second aperture in the first image acquired through the first aperture may always have a positive value through geometric optical calculation.
  • the size difference 420 between the blur in the first image acquired through the first aperture and the blur in the second image acquired through the second aperture May have a negative value due to blur due to an optical diffraction phenomenon.
  • the size difference 420 between the blur in the first image and the blur in the second image acquired through the second aperture May have a negative value.
  • 5A to 5C are diagrams for describing a method of estimating depth in consideration of an optical diffraction phenomenon, according to an exemplary embodiment.
  • FIG. 5A which illustrates a method of estimating depth in consideration of an optical diffraction phenomenon
  • an optical diffraction phenomenon is performed in a first image 510. Determine whether or not it occurs.
  • the depth extracting apparatus compares the size of the blur in the first image 510 with the size of the blur in the second image 520 to determine whether an optical diffraction occurs in the first image 510. can do.
  • the depth extraction apparatus convolutions the plurality of PSFs to the first image 510 based on the pixel range of the blur due to the optical diffraction to generate the first blur images.
  • Each of the first blur images may then be compared with the second image 520 (eg, comparing the similarity of the blur size between each of the first blur images and the second image 520).
  • the depth extraction apparatus generates first blur images by convolving by applying a plurality of PSFs to the pixel range of the first image 510 corresponding to the pixel range of the blur by the optical diffraction phenomenon, and then generating the first blur images.
  • Each of the first blur images may be compared with the pixel range of the second image 520 corresponding to the pixel range of the blur by the optical diffraction phenomenon.
  • the depth extraction apparatus may convolve by applying a plurality of PSFs to the second image 520 based on the pixel range of the blur due to the optical diffraction phenomenon, thereby generating second blur images, and then generating each of the second blur images. Compare to the first image 510 (eg, compare the similarity of the blur size between each of the second blur images and the first image 510). For example, the depth extraction apparatus generates second blur images by convolving by applying a plurality of PSFs to the pixel range of the second image 520 corresponding to the pixel range of the blur by the optical diffraction phenomenon, and then generating the second blur images. Each of the two blur images may be compared with the pixel range of the first image 510 corresponding to the pixel range of the blur by the optical diffraction phenomenon.
  • the depth extraction apparatus may determine whether any one of the plurality of PSFs is based on a result of comparing each of the first blur images with the second image 520 and comparing the second blur images with the first image 510.
  • PSF can be selected. For example, the depth extraction apparatus weights each of the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image 520. And weighting each of the plurality of PSFs corresponding to the second blur images based on a result of comparing the similarity of the blur size between each of the second blur images and the first image 510. Any PSF with the highest weight among the PSFs may be selected.
  • the depth extraction apparatus may estimate the depth in the first image 510 and the second image 520 by using any one selected PSF.
  • the depth extracting apparatus blurs each of the first image 510 and the second image 520, and selects one PSF among the plurality of PSFs, the optical diffraction phenomenon is performed.
  • the depth can be estimated accurately by considering.
  • an optical diffraction phenomenon occurs in the first image 530.
  • the depth extraction apparatus determines whether the optical diffraction occurs in the first image 530 by comparing the size of the blur in the first image 530 with the size of the blur in the second image 540. can do.
  • the depth extracting apparatus deconvolves and defocuses the first image 530 based on the number of pixels of the blur due to the optical diffraction phenomenon, and then deblurs the first image.
  • the first blur images may be generated.
  • the depth extraction apparatus may deconvolve and deblur the first image 530 by the number of pixels of the blur due to the optical diffraction phenomenon.
  • the depth extraction apparatus may compare each of the first blur images with the second image 540 and select one of the plurality of PSFs based on the comparison result. For example, the depth extraction apparatus may determine a second image of the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image 540. One PSF corresponding to the first blur image having the highest similarity of the blur size with 540 may be selected.
  • the depth extraction apparatus may estimate the depth in the first image 530 and the second image 540 by using any one selected PSF.
  • the depth extracting apparatus selects any one of the plurality of PSFs in comparison with the second image 540 after debluring the first image 530 and thus optical diffraction.
  • the depth can be estimated accurately by considering the phenomenon.
  • a depth extracting apparatus firstly includes an optical diffraction phenomenon in a first image 550. Determine whether this occurs. For example, the depth extraction apparatus determines whether the optical diffraction phenomenon occurs in the first image 550 by comparing the size of the blur in the first image 550 with the size of the blur in the second image 560. can do.
  • the depth extraction apparatus convolves and blurs the second image 560 based on the number of pixels of the blur due to the optical diffraction, and a plurality of PSFs are included in the first image 550.
  • the first blur images may be generated.
  • the depth extraction apparatus may convolve and blur the second image 560 by the number of pixels of the blur due to the optical diffraction phenomenon.
  • the depth extraction apparatus may select one of the plurality of PSFs based on the comparison result by comparing each of the first blur images with the blurred second image 561.
  • the depth extracting device may blur the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the blurred second image 561.
  • One PSF corresponding to the first blur image having the highest similarity with the second blur image 561 may be selected.
  • the depth extraction apparatus may estimate the depth in the first image 550 and the second image 560 using any one selected PSF.
  • the depth extracting apparatus blurs the second image 560 and selects one of the plurality of PSFs in comparison with the first image 550, optical diffraction is performed.
  • the depth can be estimated accurately by considering the phenomenon.
  • FIG. 6 is a flowchart illustrating a depth extraction method of a multi-aperture camera, according to an exemplary embodiment.
  • whether optical diffraction occurs in a first image acquired through a first aperture, wherein the first aperture introduces an optical signal having a first wavelength. Determine (610).
  • the depth extraction apparatus is based on the blur pixels due to the optical diffraction phenomenon, and the first image and the second aperture-second aperture have a second wavelength shorter than or equal to the first wavelength.
  • the depth is estimated (620) by comparing the second image obtained through the inflow of the optical signal. Detailed description thereof will be described with reference to FIGS. 7 to 9.
  • the depth extraction apparatus convolutions by applying a plurality of PSFs to the first image, and first blur images obtained as a result of the convolution of the first image.
  • the selected PSF may be used to estimate the depth in the first image and the second image.
  • the depth extracting apparatus may generate the highest blur with the second image among the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image. Any PSF corresponding to the first blur image having similarity in size may be selected.
  • FIG. 7 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to an exemplary embodiment.
  • a depth extraction apparatus may apply a plurality of PSFs to a first image based on a pixel range of blur caused by optical diffraction.
  • the depth extraction apparatus may compare each of the first blur images obtained as a result of the convolution of the first image with the second image (720). At this time, the depth extraction apparatus may compare the similarity of the blur size between each of the first blur images and the second image.
  • the depth extraction apparatus may convolve by applying a plurality of PSFs to the second image based on the pixel range of the blur due to the optical diffraction phenomenon (730).
  • the depth extracting apparatus may then compare each of the second blur images obtained as a result of the convolution of the second image with the first image (740). Similarly, the depth extraction apparatus may compare the similarity of the blur size between each of the second blur images and the first image.
  • the depth extraction apparatus may select one of the plurality of PSFs based on a result of comparing each of the first blur images with the second image and comparing the second blur images with the first image. (750). For example, the depth extracting apparatus weights each of the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image, By weighting each of the plurality of PSFs corresponding to the second blur images based on a result of comparing the similarity of the blur size between each of the second blur images and the first image, the highest weight among the plurality of PSFs One PSF to which is given may be selected.
  • the depth extraction apparatus may estimate the depth in the first image and the second image by using any one selected PSF (760).
  • FIG. 8 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to another exemplary embodiment.
  • the depth extracting apparatus may deconvolve the first image based on the number of pixels of the blur due to an optical diffraction phenomenon to deblur it.
  • the depth extraction apparatus may convolve by applying a plurality of PSFs to the deblurred first image (820).
  • the depth extraction apparatus may compare each of the first blur images obtained as a result of the convolution of the deblurred first image with the second image (830). At this time, the depth extraction apparatus may compare the similarity of the blur size between each of the first blur images and the second image.
  • the depth extraction apparatus may select one of the plurality of PSFs based on the comparison result (840).
  • the depth extracting apparatus may be configured to have the highest value among the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second image.
  • One of the PSFs corresponding to the first blur image having the similarity of the blur size may be selected.
  • the depth extraction apparatus may estimate the depth in the first image and the second image by using any one selected PSF (850).
  • FIG. 9 is a flowchart illustrating a method of estimating depth by comparing a first image and a second image illustrated in FIG. 6 according to another exemplary embodiment.
  • a depth extraction apparatus may convolve and blur a second image based on the number of pixels of blur caused by optical diffraction.
  • the depth extraction apparatus may convolve by applying a plurality of PSFs to the first image (920).
  • the depth extracting apparatus may then compare each of the first blur images obtained as a result of the convolution of the first image with the blurred second image (930). At this time, the depth extraction apparatus may compare the similarity of the blur size between each of the first blur images and the blurred second image.
  • the depth extraction apparatus may select one of the plurality of PSFs based on the comparison result.
  • the depth extracting apparatus may include a second blurred image among the plurality of PSFs corresponding to the first blur images based on a result of comparing the similarity of the blur size between each of the first blur images and the second blurred image. Any PSF corresponding to the first blur image having the highest similarity with the image may be selected.
  • the depth extraction apparatus may estimate depths in the first image and the second image by using any one selected PSF (950).
  • FIG. 10 is a block diagram illustrating a depth extraction apparatus in a multi-aperture camera according to an exemplary embodiment.
  • a depth extraction apparatus includes a determiner 1010 and an estimator 1020.
  • the determination unit 1010 determines whether optical diffraction occurs in the first image acquired through the first aperture, the first aperture injects the optical signal having the first wavelength.
  • the estimator 1020 determines that the first image and the second aperture-second aperture are shorter than the first wavelength based on the blur pixels due to the optical diffraction phenomenon.
  • the depth is estimated by comparing the second image obtained through the inflow of optical signals of two wavelengths.
  • the estimator 1020 convolutions by applying a plurality of PSFs to the first image based on the pixel range of the blur due to the optical diffraction phenomenon, and first blur images obtained as a result of the convolution of the first image. Comparing each with the second image, convolving by applying a plurality of PSFs to the second image based on the pixel range of the blur by the optical diffraction phenomenon, and each of the second blur images obtained as a result of the convolution of the second image Is compared with the first image, and selecting one of the plurality of PSFs based on a result of comparing each of the first blur images with the second image and comparing the second blur images with the first image.
  • the depth of the first image and the second image may be estimated using any one selected PSF.
  • the estimator 1020 deconvolves and deblocks the first image based on the number of pixels of the blur due to optical diffraction, and convolutions by applying a plurality of PSFs to the deblurred first image, Any one PSF selected by comparing each of the first blur images obtained as a result of the deblurred first image with the convolution with the second image, and selecting one of the plurality of PSFs based on the comparison result
  • the depth in the first image and the second image can be estimated using.
  • the estimator 1020 convolves and blurs the second image based on the number of pixels of the blur due to the optical diffraction phenomenon, and convolutions by applying a plurality of PSFs to the first image.
  • the estimator 1020 compares each of the first blur images obtained as a convolutional result with the blurred second image, and selecting one of the plurality of PSFs based on the comparison result, the first one using the selected one PSF. The depth in the image and the second image can be estimated.
  • the estimator 1020 convolutions by applying a plurality of PSFs to the first image, and each of the first blur images obtained as a result of the convolution of the first image. Is compared with the second image, and by selecting one of the plurality of PSFs based on the comparison result, it is possible to estimate the depth in the first image and the second image using any one of the selected PSF.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

제1 파장의 광 신호를 유입시키는 제1 애퍼처 및 상기 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시키는 제2 애퍼처를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법은 상기 제1 애퍼처를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단하는 단계; 및 상기 판단 결과, 상기 광학적 회절 현상이 발생되는 경우, 상기 광학적 회절 현상에 의한 블러(blur)의 픽셀을 기초로, 상기 제1 이미지 및 상기 제2 애퍼처를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정하는 단계를 포함한다.

Description

멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치
아래의 실시예들은 이미지로부터 깊이를 추출하는 장치 및 그 방법에 관한 것으로, 보다 구체적으로 멀티 애퍼처 카메라에 포함되는 복수의 애퍼처들을 통하여 획득된 이미지들을 비교함으로써, 이미지에서의 깊이를 추출하는 기술에 대한 것이다.
공개특허 WO2011101035 "PROCESSING MULTI-APERTURE IMAGE DATA", 공개특허 WO2011101036 "PROCESSING MULTI-APERTURE IMAGE DATA" 및 공개특허 WO2012007049 "FLASH SYSTEM FOR MULTI-APERTURE IMAGING"를 살펴보면, 기존의 이미지에서 깊이를 추출하는 기술은 서로 다른 파장의 광 신호를 서로 다른 애퍼처로 입사시키는 복수의 애퍼처들을 통하여 서로 다른 블러(blur)를 갖는 복수의 이미지들을 획득한 후, 획득된 복수의 이미지들 사이의 블러의 변화에 기초하여 이미지에서의 깊이를 추정한다. 예를 들어, 기존의 이미지에서 깊이를 추출하는 기술은 큰 애퍼처 및 작은 애퍼처를 구비함으로써(이하, 큰 애퍼처 및 작은 애퍼처는 서로 상대적 크기 측면에서 각각 크고 작은 애퍼처를 의미함), 큰 애퍼처를 통하여 획득된 이미지와 작은 애퍼처를 통하여 획득된 이미지 사이의 블러의 변화에 기초하여 이미지에서의 깊이를 추정한다.
그러나 작은 애퍼처를 통하여 획득된 이미지는 광학적 회절 현상에 의한 블러를 포함하기 때문에, 기존의 이미지에서 깊이를 추출하는 기술은 작은 애퍼처를 통하여 획득된 이미지에서 블러의 크기가 큰 애퍼처를 통하여 획득된 이미지에서 블러의 크기보다 커지는 블러 크기 역전을 발생시킬 수 있다.
따라서, 이와 같은 블러 크기 역전에 의해, 기존의 이미지에서 깊이를 추출하는 기술은 이미지에서의 깊이를 부정확하게 추정하거나, 이미지에서의 깊이 추정 자체가 불가능해지는 문제점이 있다.
이에, 아래의 실시예들은 작은 애퍼처를 통하여 획득된 이미지에서의 광학적 회절 현상을 고려하여 이미지에서 깊이를 추정하는 기술을 제안한다.
일실시예들은 작은 애퍼처를 통하여 획득된 이미지에서의 광학적 회절 현상을 고려하여 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공한다.
구체적으로, 일실시예들은 작은 애퍼처를 통하여 획득된 이미지를 디블러(deblur)시킨 후, 큰 애퍼처를 통하여 획득된 이미지와 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공한다.
또한, 일실시예들은 큰 애퍼처를 통하여 획득된 이미지를 블러시킨 후, 작은 애퍼처를 통하여 획득된 이미지와 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공한다.
또한, 일실시예들은 작은 애퍼처를 통하여 획득된 이미지 및 큰 애퍼처를 통하여 획득된 이미지 각각을 블러시킨 후, 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공한다.
일실시예에 따르면, 제1 파장의 광 신호를 유입시키는 제1 애퍼처 및 상기 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시키는 제2 애퍼처를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법은 상기 제1 애퍼처를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단하는 단계; 및 상기 판단 결과, 상기 광학적 회절 현상이 발생되는 경우, 상기 광학적 회절 현상에 의한 블러(blur)의 픽셀을 기초로, 상기 제1 이미지 및 상기 제2 애퍼처를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정하는 단계를 포함한다.
상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는 상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제1 이미지에 복수의 PSF(Point Spread Function)들을 적용하여 컨벌루션(convolution)하는 단계; 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계; 상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제2 이미지에 상기 복수의 PSF들을 적용하여 컨벌루션하는 단계; 상기 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 상기 제1 이미지와 비교하는 단계; 상기 제1 블러 이미지들 각각을 상기 제2 이미지와 비교한 결과 및 상기 제2 블러 이미지들을 상기 제1 이미지와 비교한 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계를 포함할 수 있다.
상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는 상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 각각에 가중치를 부여하는 단계; 상기 제2 블러 이미지들 각각과 상기 제1 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제2 블러 이미지들에 대응하는 상기 복수의 PSF들 각각에 가중치를 부여하는 단계; 및 상기 복수의 PSF들 중 가장 높은 가중치가 부여된 상기 어느 하나의 PSF를 선택하는 단계를 포함할 수 있다.
상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는 상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제1 이미지를 디컨벌루션(deconvolution)하여 디블러(deblur)시키는 단계; 상기 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계; 상기 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계; 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계를 포함할 수 있다.
상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는 상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계를 포함할 수 있다.
상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는 상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제2 이미지를 컨벌루션하여 블러시키는 단계; 상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계; 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 블러된 제2 이미지와 비교하는 단계; 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계를 포함할 수 있다.
상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는 상기 제1 블러 이미지들 각각과 상기 블러된 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 블러된 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계를 포함할 수 있다.
상기 멀티 애퍼처 카메라에서의 깊이 추출 방법은 상기 판단 결과, 상기 광학적 회절 현상이 발생되지 않는 경우, 상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계; 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계; 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계를 더 포함할 수 있다.
상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는 상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계를 포함할 수 있다.
일실시예에 따르면, 제1 파장의 광 신호를 유입시키는 제1 애퍼처 및 상기 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시키는 제2 애퍼처를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 장치는 상기 제1 애퍼처를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단하는 판단부; 및 상기 판단 결과, 상기 광학적 회절 현상이 발생되는 경우, 상기 광학적 회절 현상에 의한 블러(blur)의 픽셀을 기초로, 상기 제1 이미지 및 상기 제2 애퍼처를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정하는 추정부를 포함한다.
상기 추정부는 상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제1 이미지에 복수의 PSF(Point Spread Function)들을 적용하여 컨벌루션(convolution)하고, 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하며, 상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제2 이미지에 상기 복수의 PSF들을 적용하여 컨벌루션하고, 상기 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 상기 제1 이미지와 비교하며, 상기 제1 블러 이미지들 각각을 상기 제2 이미지와 비교한 결과 및 상기 제2 블러 이미지들을 상기 제1 이미지와 비교한 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하고, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정할 수 있다.
상기 추정부는 상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제1 이미지를 디컨벌루션(deconvolution)하여 디블러(deblur)시키고, 상기 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 상기 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하고, 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하며, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정할 수 있다.
상기 추정부는 상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제2 이미지를 컨벌루션하여 블러시키고, 상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 블러된 제2 이미지와 비교하고, 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하며, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정할 수 있다.
일실시예들은 작은 애퍼처를 통하여 획득된 이미지에서의 광학적 회절 현상을 고려하여 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공할 수 있다.
구체적으로, 일실시예들은 작은 애퍼처를 통하여 획득된 이미지를 디블러시킨 후, 큰 애퍼처를 통하여 획득된 이미지와 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공할 수 있다.
또한, 일실시예들은 큰 애퍼처를 통하여 획득된 이미지를 블러시킨 후, 작은 애퍼처를 통하여 획득된 이미지와 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공할 수 있다.
또한, 일실시예들은 작은 애퍼처를 통하여 획득된 이미지 및 큰 애퍼처를 통하여 획득된 이미지 각각을 블러시킨 후, 비교함으로써, 이미지에서 깊이를 추정하는 깊이 추출 방법 및 장치를 제공할 수 있다.
도 1은 일실시예에 따른 광학적 회절 현상을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 광학적 회절 현상이 발생되지 않는 경우의 복수의 애퍼처들 각각을 통하여 획득된 이미지에서 블러의 크기를 나타낸 도면이다.
도 3은 일실시예에 따른 광학적 회절 현상이 발생되는 경우의 복수의 애퍼처들 각각을 통하여 획득된 이미지에서 블러의 크기를 나타낸 도면이다.
도 4는 일실시예에 따른 복수의 애퍼처들 각각을 통하여 획득된 이미지 사이에서 블러의 크기 차이를 나타낸 도면이다.
도 5a 내지 5c는 일실시예에 따른 광학적 회절 현상을 고려하여 깊이를 추정하는 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 멀티 애퍼처 카메라에서의 깊이 추출 방법을 나타낸 플로우 차트이다.
도 7은 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 8은 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 다른 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 9는 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 또 다른 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 10은 일실시예에 따른 멀티 애퍼처 카메라에서의 깊이 추출 장치를 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 광학적 회절 현상을 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라(100)는 제1 파장의 광 신호를 유입시키는 제1 애퍼처(110), 제2 파장-제2 파장은 제1 파장 이하로 짧은 파장임-의 광 신호를 유입시키는 제2 애퍼처(120) 및 제1 애퍼처(110)와 제2 애퍼처(120)를 통과한 광 신호에 의한 피사체의 이미지가 맺히는 이미지면에 위치하는 이미지 센서(130)를 포함한다.
이하, 제1 애퍼처(110)가 650nm의 적색광 파장인 제1 파장의 광 신호를 유입시키고, 제2 애퍼처(120)가 510nm의 녹색광 파장인 제2 파장의 광 신호를 유입시키는 경우로 설명하나, 이에 제한되거나 한정되지 않고, 제1 애퍼처(110)는 적외선 파장인 제1 파장의 광 신호를 유입시킬 수 있고, 제2 애퍼처(120)는 가시광 파장인 제2 파장의 광 신호를 유입시킬 수도 있다. 즉, 제2 애퍼처(120)가 유입시키는 제2 파장의 광 신호는 제1 애퍼처(110)가 유입시키는 제1 파장의 광 신호의 파장 이하로 짧은 파장의 광 신호일 수 있다.
따라서, 제1 애퍼처(110)는 제2 애퍼처(120)에 비해 작은 애퍼처 크기를 갖기 때문에, 작은 애퍼처를 의미할 수 있고, 제2 애퍼처(120)는 제1 애퍼처(110)에 비해 큰 애퍼처 크기를 갖기 때문에, 큰 애퍼처를 의미할 수 있다.
여기서, 이미지 센서(130)는 피사체의 이미지가 맺히는 이미지면이 이동되도록 위치 1, 2, 또는 3으로 적응적으로 이동됨으로써, 제1 애퍼처(110) 및 제2 애퍼처(120) 각각을 통하여 유입되는 광 신호에 의해 블러가 변화되는 이미지들을 획득할 수 있다.
예를 들어, 이미지 센서(130)가 위치 1 또는 3에 배치되는 경우, 제1 애퍼처(110) 및 제2 애퍼처(120) 각각을 통하여 유입되는 광 신호에 의해 피사체의 초점이 맞은 전후 블러된 이미지들이 획득될 수 있고, 이미지 센서(130)가 위치 2에 배치되는 경우, 제1 애퍼처(110) 및 제2 애퍼처(120) 각각을 통하여 유입되는 광 신호에 의해 피사체의 초점이 맞은 이미지들이 획득될 수 있다.
이 때, 이미지 센서(130)가 위치 2에 배치되는 경우, 제1 애퍼처(110)를 통하여 유입되는 광 신호에 의해 획득되는 제1 이미지에서 광학적 회절 현상이 발생될 수 있다. 예를 들어, 이미지 센서(130)가 위치 1 또는 3에 배치되는 경우, 제1 애퍼처(110)를 통하여 유입되는 광 신호에 의해 획득되는 제1 이미지에서 블러의 크기는 제2 애퍼처(120)를 통하여 유입되는 광 신호에 의해 획득되는 제2 이미지에서 블러의 크기보다 작지만, 이미지 센서(130)가 위치 2에 배치되는 경우, 제1 애퍼처(110)를 통하여 유입되는 광 신호에 의해 획득되는 제1 이미지에서 블러의 크기는 제2 애퍼처(120)를 통하여 유입되는 광 신호에 의해 획득되는 제2 이미지에서 블러의 크기보다 커질 수 있다. 이에 대한 상세한 설명은 도 2 및 3을 참조하여 기재하기로 한다.
따라서, 이미지 센서(130)가 위치 1 또는 3에 배치되어 광학적 회절 현상이 발생되지 않는 경우, 깊이 추출 장치는 기하광학적 계산을 통하여(예컨대, 일반적인 깊이 추정 방식과 동일한 방식을 이용하여) 이미지에서의 깊이를 추정할 수 있다. 예를 들어, 깊이 추출 장치는 제1 애퍼처(110)를 통하여 획득된 제1 이미지에 복수의 PSF(Point Spread Function)들을 적용하여 컨벌루션(convolution)함으로써, 제1 블러 이미지들을 생성한 후, 제1 블러 이미지들 각각을 제2 애퍼처(120)를 통하여 획득된 제2 이미지와 비교하여, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다. 이에, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다. 더 구체적인 예를 들면, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여, 제1 블러 이미지들에 대응하는 복수의 PSF들 중 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
반면에, 이미지 센서(130)가 위치 2에 배치되어 광학적 회절 현상이 발생되는 경우, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀을 기초로, 제1 애퍼처(110)를 통하여 획득된 제1 이미지와 제2 애퍼처(120)를 통하여 획득된 제2 이미지를 비교함으로써, 깊이를 추정할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 2는 일실시예에 따른 광학적 회절 현상이 발생되지 않는 경우의 복수의 애퍼처들 각각을 통하여 획득된 이미지에서 블러의 크기를 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따른 멀티 애퍼처 카메라에서 이미지 센서가 초점이 맞는 거리를 제외한 나머지 거리에 배치되는 경우, 제1 애퍼처를 통하여 획득된 제1 이미지에서 블러(210)의 크기는 제2 애퍼처를 통하여 획득된 제2 이미지에서 블러(220)의 크기보다 작게 된다. 예를 들어, 광학적 회절 현상이 발생되지 않는 경우, 동일한 피사체에 대해 형성된 제1 이미지에서 블러(210)의 크기는 제2 이미지에서 블러(220)의 크기보다 작을 수 있다.
도 3은 일실시예에 따른 광학적 회절 현상이 발생되는 경우의 복수의 애퍼처들 각각을 통하여 획득된 이미지에서 블러의 크기를 나타낸 도면이다.
도 3을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라에서 이미지 센서가 초점이 맞는 거리에 배치되는 경우, 제1 애퍼처를 통하여 획득된 제1 이미지에서 블러(310)의 크기는 제2 애퍼처를 통하여 획득된 제2 이미지에서 블러(320)의 크기보다 커질 수 있다. 예를 들어, 제1 이미지에서 광학적 회절 현상이 발생되는 경우, 동일한 피사체에 대해 형성된 제1 이미지에서 블러(310)의 크기가 제2 이미지에서 블러(320)의 크기보다 커지는 블러 크기 역전이 발생될 수 있다.
도 4는 일실시예에 따른 복수의 애퍼처들 각각을 통하여 획득된 이미지 사이에서 블러의 크기 차이를 나타낸 도면이다.
도 4를 참조하면, 일실시예에 따른 멀티 애퍼처 카메라에서 광학적 회절 현상이 발생되지 않는 경우, 제1 애퍼처를 통하여 획득된 제1 이미지에서 블러와 제2 애퍼처를 통하여 획득된 제2 이미지에서 블러 사이의 크기 차이(410)는 기하광학적 계산을 통하여 항상 양의 값을 가질 수 있다.
반면에, 멀티 애퍼처 카메라에서 광학적 회절 현상이 발생되는 경우, 제1 애퍼처를 통하여 획득된 제1 이미지에서 블러와 제2 애퍼처를 통하여 획득된 제2 이미지에서 블러 사이의 크기 차이(420)는 광학적 회절 현상에 의한 블러로 음의 값을 가질 수 있다. 예를 들어, 광학적 회절 현상이 발생되고, 피사체와의 깊이인 피사체와의 거리가 400mm 이상인 경우, 제1 이미지에서 블러와 제2 애퍼처를 통하여 획득된 제2 이미지에서 블러 사이의 크기 차이(420)는 음의 값을 가질 수 있다.
도 5a 내지 5c는 일실시예에 따른 광학적 회절 현상을 고려하여 깊이를 추정하는 방법을 설명하기 위한 도면이다.
구체적으로, 일실시예에 따른 광학적 회절 현상을 고려하여 깊이를 추정하는 방법을 도시한 도 5a를 참조하면, 일실시예에 따른 깊이 추출 장치는 우선, 제1 이미지(510)에서 광학적 회절 현상이 발생되는지 여부를 판단한다. 예를 들어, 깊이 추출 장치는 제1 이미지(510)에서 블러의 크기 및 제2 이미지(520)에서 블러의 크기를 서로 비교함으로써, 제1 이미지(510)에서 광학적 회절 현상이 발생되는지 여부를 판단할 수 있다.
판단 결과, 광학적 회절 현상이 발생되는 경우, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제1 이미지(510)에 복수의 PSF들을 적용하여 컨벌루션함으로써, 제1 블러 이미지들을 생성한 후, 제1 블러 이미지들 각각을 제2 이미지(520)와 비교할 수 있다(예컨대, 제1 블러 이미지들 각각과 제2 이미지(520) 사이의 블러 크기의 유사도를 비교함). 예를 들어, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위에 대응하는 제1 이미지(510)의 픽셀 범위에 대해 복수의 PSF들을 적용하여 컨벌루션함으로써, 제1 블러 이미지들을 생성한 후, 제1 블러 이미지들 각각을 광학적 회절 현상에 의한 블러의 픽셀 범위에 대응하는 제2 이미지(520)의 픽셀 범위와 비교할 수 있다.
또한, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제2 이미지(520)에 복수의 PSF들을 적용하여 컨벌루션함으로써, 제2 블러 이미지들을 생성한 후, 제2 블러 이미지들 각각을 제1 이미지(510)와 비교할 수 있다(예컨대, 제2 블러 이미지들 각각과 제1 이미지(510) 사이의 블러 크기의 유사도를 비교함). 예를 들어, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위에 대응하는 제2 이미지(520)의 픽셀 범위에 대해 복수의 PSF들을 적용하여 컨벌루션함으로써, 제2 블러 이미지들을 생성한 후, 제2 블러 이미지들 각각을 광학적 회절 현상에 의한 블러의 픽셀 범위에 대응하는 제1 이미지(510)의 픽셀 범위와 비교할 수 있다.
이에, 깊이 추출 장치는 제1 블러 이미지들 각각을 제2 이미지(520)와 비교한 결과 및 제2 블러 이미지들을 제1 이미지(510)와 비교한 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다. 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지(520) 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 각각에 가중치를 부여하고, 제2 블러 이미지들 각각과 제1 이미지(510) 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제2 블러 이미지들에 대응하는 복수의 PSF들 각각에 가중치를 부여함으로써, 복수의 PSF들 중 가장 높은 가중치가 부여된 어느 하나의 PSF를 선택할 수 있다.
따라서, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지(510) 및 제2 이미지(520)에서의 깊이를 추정할 수 있다.
이와 같이, 일실시예에 따른 깊이 추출 장치는 제1 이미지(510) 및 제2 이미지(520) 각각을 블러시킨 후, 비교하여 복수의 PSF들 중 어느 하나의 PSF를 선택하기 때문에, 광학적 회절 현상을 고려하여 깊이를 정확히 추정할 수 있다.
다른 일실시예에 따른 광학적 회절 현상을 고려하여 깊이를 추정하는 방법을 도시한 도 5b를 참조하면, 다른 일실시예에 따른 깊이 추출 장치는 우선, 제1 이미지(530)에서 광학적 회절 현상이 발생되는지 여부를 판단한다. 예를 들어, 깊이 추출 장치는 제1 이미지(530)에서 블러의 크기 및 제2 이미지(540)에서 블러의 크기를 서로 비교함으로써, 제1 이미지(530)에서 광학적 회절 현상이 발생되는지 여부를 판단할 수 있다.
판단 결과, 광학적 회절 현상이 발생되는 경우, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제1 이미지(530)를 디컨벌루션(deconvolution)하여 디블러시킨 후, 디블러된 제1 이미지(531)에 복수의 PSF들을 적용하여 컨벌루션함으로써, 제1 블러 이미지들을 생성할 수 있다. 예를 들어, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수만큼 제1 이미지(530)를 디컨벌루션하여 디블러시킬 수 있다.
이에, 깊이 추출 장치는 제1 블러 이미지들 각각을 제2 이미지(540)와 비교하여, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다. 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지(540) 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 중 제2 이미지(540)와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
따라서, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지(530) 및 제2 이미지(540)에서의 깊이를 추정할 수 있다.
이와 같이, 다른 일실시예에 따른 깊이 추출 장치는 제1 이미지(530)를 디블러시킨 후, 제2 이미지(540)와 비교하여 복수의 PSF들 중 어느 하나의 PSF를 선택하기 때문에, 광학적 회절 현상을 고려하여 깊이를 정확히 추정할 수 있다.
또 다른 일실시예에 따른 광학적 회절 현상을 고려하여 깊이를 추정하는 방법을 도시한 도 5c를 참조하면, 또 다른 일실시예에 따른 깊이 추출 장치는 우선, 제1 이미지(550)에서 광학적 회절 현상이 발생되는지 여부를 판단한다. 예를 들어, 깊이 추출 장치는 제1 이미지(550)에서 블러의 크기 및 제2 이미지(560)에서 블러의 크기를 서로 비교함으로써, 제1 이미지(550)에서 광학적 회절 현상이 발생되는지 여부를 판단할 수 있다.
판단 결과, 광학적 회절 현상이 발생되는 경우, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제2 이미지(560)를 컨벌루션하여 블러시키고, 제1 이미지(550)에 복수의 PSF들을 적용하여 컨벌루션함으로써, 제1 블러 이미지들을 생성할 수 있다. 예를 들어, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수만큼 제2 이미지(560)를 컨벌루션하여 블러시킬 수 있다.
이에, 깊이 추출 장치는 제1 블러 이미지들 각각을 블러된 제2 이미지(561)와 비교하여, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다. 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 블러된 제2 이미지(561) 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 중 블러된 제2 이미지(561)와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
따라서, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지(550) 및 제2 이미지(560)에서의 깊이를 추정할 수 있다.
이와 같이, 또 다른 일실시예에 따른 깊이 추출 장치는 제2 이미지(560)를 블러시킨 후, 제1 이미지(550)와 비교하여 복수의 PSF들 중 어느 하나의 PSF를 선택하기 때문에, 광학적 회절 현상을 고려하여 깊이를 정확히 추정할 수 있다.
도 6은 일실시예에 따른 멀티 애퍼처 카메라에서의 깊이 추출 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 일실시예에 따른 깊이 추출 장치는 제1 애퍼처-제1 애퍼처는 제1 파장의 광 신호를 유입시킴-를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단한다(610).
판단 결과, 광학적 회절 현상이 발생되는 경우, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀을 기초로, 제1 이미지 및 제2 애퍼처-제2 애퍼처는 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시킴-를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정한다(620). 이에 대한 상세한 설명은 도 7 내지 9를 참조하여 기재하기로 한다.
도면에는 도시하지 않았지만, 판단 결과, 광학적 회절 현상이 발생되지 않는 경우, 깊이 추출 장치는 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하고, 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교하며(예컨대, 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교함), 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택함으로써, 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다. 이 때, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 중 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
도 7은 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 7을 참조하면, 일실시예에 따른 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션할 수 있다(710).
이어서, 깊이 추출 장치는 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교할 수 있다(720). 이 때, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교할 수 있다.
그 다음, 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제2 이미지에 복수의 PSF들을 적용하여 컨벌루션할 수 있다(730).
그 다음, 깊이 추출 장치는 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 제1 이미지와 비교할 수 있다(740). 마찬가지로, 깊이 추출 장치는 제2 블러 이미지들 각각과 제1 이미지 사이의 블러 크기의 유사도를 비교할 수 있다.
그 다음, 깊이 추출 장치는 제1 블러 이미지들 각각을 제2 이미지와 비교한 결과 및 제2 블러 이미지들을 제1 이미지와 비교한 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다(750). 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 각각에 가중치를 부여하고, 제2 블러 이미지들 각각과 제1 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제2 블러 이미지들에 대응하는 복수의 PSF들 각각에 가중치를 부여함으로써, 복수의 PSF들 중 가장 높은 가중치가 부여된 어느 하나의 PSF를 선택할 수 있다.
그 후, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다(760).
도 8은 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 다른 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 8을 참조하면, 다른 일실시예에 따른 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제1 이미지를 디컨벌루션하여 디블러시킬 수 있다(810).
이어서, 깊이 추출 장치는 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션할 수 있다(820).
그 다음, 깊이 추출 장치는 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교할 수 있다(830). 이 때, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교할 수 있다.
그 다음, 깊이 추출 장치는 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다(840). 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 중 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
그 후, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다(850).
도 9는 도 6에 도시된 제1 이미지 및 제2 이미지를 비교하여 깊이를 추정하는 단계를 또 다른 일실시예에 따라 구체적으로 나타낸 플로우 차트이다.
도 9를 참조하면, 또 다른 일실시예에 따른 깊이 추출 장치는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제2 이미지를 컨벌루션하여 블러시킬 수 있다(910).
이어서, 깊이 추출 장치는 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션할 수 있다(920).
그 다음, 깊이 추출 장치는 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 블러된 제2 이미지와 비교할 수 있다(930). 이 때, 깊이 추출 장치는 제1 블러 이미지들 각각과 블러된 제2 이미지 사이의 블러 크기의 유사도를 비교할 수 있다.
그 다음, 깊이 추출 장치는 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택할 수 있다(940). 예를 들어, 깊이 추출 장치는 제1 블러 이미지들 각각과 블러된 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 제1 블러 이미지들에 대응하는 복수의 PSF들 중 블러된 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 어느 하나의 PSF를 선택할 수 있다.
그 후, 깊이 추출 장치는 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다(950).
도 10은 일실시예에 따른 멀티 애퍼처 카메라에서의 깊이 추출 장치를 나타낸 블록도이다.
도 10을 참조하면, 일실시예에 따른 깊이 추출 장치는 판단부(1010) 및 추정부(1020)를 포함한다.
판단부(1010)는 제1 애퍼처-제1 애퍼처는 제1 파장의 광 신호를 유입시킴-를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단한다.
추정부(1020)는 판단 결과, 광학적 회절 현상이 발생되는 경우, 광학적 회절 현상에 의한 블러의 픽셀을 기초로, 제1 이미지 및 제2 애퍼처-제2 애퍼처는 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시킴-를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정한다.
예를 들어, 추정부(1020)는 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하고, 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교하며, 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 제2 이미지에 복수의 PSF들을 적용하여 컨벌루션하고, 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 제1 이미지와 비교하며, 제1 블러 이미지들 각각을 제2 이미지와 비교한 결과 및 제2 블러 이미지들을 제1 이미지와 비교한 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택함으로써, 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다.
다른 예를 들면, 추정부(1020)는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제1 이미지를 디컨벌루션하여 디블러시키고, 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교하고, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택함으로써, 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다.
또 다른 예를 들면, 추정부(1020)는 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 제2 이미지를 컨벌루션하여 블러시키고, 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 블러된 제2 이미지와 비교하고, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택함으로써, 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다.
반면에, 판단 결과, 광학적 회절 현상이 발생되지 않는 경우, 추정부(1020)는 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하고, 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 제2 이미지와 비교하며, 비교 결과를 기초로 복수의 PSF들 중 어느 하나의 PSF를 선택함으로써, 선택된 어느 하나의 PSF를 이용하여 제1 이미지 및 제2 이미지에서의 깊이를 추정할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 제1 파장의 광 신호를 유입시키는 제1 애퍼처 및 상기 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시키는 제2 애퍼처를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법에 있어서,
    상기 제1 애퍼처를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 광학적 회절 현상이 발생되는 경우, 상기 광학적 회절 현상에 의한 블러(blur)의 픽셀을 기초로, 상기 제1 이미지 및 상기 제2 애퍼처를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  2. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는
    상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제1 이미지에 복수의 PSF(Point Spread Function)들을 적용하여 컨벌루션(convolution)하는 단계;
    상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계;
    상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제2 이미지에 상기 복수의 PSF들을 적용하여 컨벌루션하는 단계;
    상기 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 상기 제1 이미지와 비교하는 단계;
    상기 제1 블러 이미지들 각각을 상기 제2 이미지와 비교한 결과 및 상기 제2 블러 이미지들을 상기 제1 이미지와 비교한 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및
    상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  3. 제2항에 있어서,
    상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는
    상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 각각에 가중치를 부여하는 단계;
    상기 제2 블러 이미지들 각각과 상기 제1 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제2 블러 이미지들에 대응하는 상기 복수의 PSF들 각각에 가중치를 부여하는 단계; 및
    상기 복수의 PSF들 중 가장 높은 가중치가 부여된 상기 어느 하나의 PSF를 선택하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  4. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는
    상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제1 이미지를 디컨벌루션(deconvolution)하여 디블러(deblur)시키는 단계;
    상기 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계;
    상기 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계;
    상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및
    상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  5. 제4항에 있어서,
    상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는
    상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  6. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지를 비교하여 깊이를 추정하는 단계는
    상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제2 이미지를 컨벌루션하여 블러시키는 단계;
    상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계;
    상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 블러된 제2 이미지와 비교하는 단계;
    상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및
    상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  7. 제6항에 있어서,
    상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는
    상기 제1 블러 이미지들 각각과 상기 블러된 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 블러된 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  8. 제1항에 있어서,
    상기 판단 결과, 상기 광학적 회절 현상이 발생되지 않는 경우, 상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하는 단계;
    상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하는 단계;
    상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계; 및
    상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는 단계
    를 더 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  9. 제8항에 있어서,
    상기 복수의 PSF들 중 어느 하나의 PSF를 선택하는 단계는
    상기 제1 블러 이미지들 각각과 상기 제2 이미지 사이의 블러 크기의 유사도를 비교한 결과에 기초하여 상기 제1 블러 이미지들에 대응하는 상기 복수의 PSF들 중 상기 제2 이미지와 가장 높은 블러 크기의 유사도를 갖는 제1 블러 이미지에 대응하는 상기 어느 하나의 PSF를 선택하는 단계
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 제1 파장의 광 신호를 유입시키는 제1 애퍼처 및 상기 제1 파장 이하로 짧은 제2 파장의 광 신호를 유입시키는 제2 애퍼처를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 장치에 있어서,
    상기 제1 애퍼처를 통하여 획득된 제1 이미지에서 광학적 회절 현상이 발생되는지 여부를 판단하는 판단부; 및
    상기 판단 결과, 상기 광학적 회절 현상이 발생되는 경우, 상기 광학적 회절 현상에 의한 블러(blur)의 픽셀을 기초로, 상기 제1 이미지 및 상기 제2 애퍼처를 통하여 획득된 제2 이미지를 비교하여 깊이를 추정하는 추정부
    를 포함하는 멀티 애퍼처 카메라에서의 깊이 추출 장치.
  12. 제11항에 있어서,
    상기 추정부는
    상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제1 이미지에 복수의 PSF(Point Spread Function)들을 적용하여 컨벌루션(convolution)하고, 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하며, 상기 광학적 회절 현상에 의한 블러의 픽셀 범위를 기초로 상기 제2 이미지에 상기 복수의 PSF들을 적용하여 컨벌루션하고, 상기 제2 이미지가 컨벌루션된 결과로 획득되는 제2 블러 이미지들 각각을 상기 제1 이미지와 비교하며, 상기 제1 블러 이미지들 각각을 상기 제2 이미지와 비교한 결과 및 상기 제2 블러 이미지들을 상기 제1 이미지와 비교한 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하고, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는, 멀티 애퍼처 카메라에서의 깊이 추출 장치.
  13. 제11항에 있어서,
    상기 추정부는
    상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제1 이미지를 디컨벌루션(deconvolution)하여 디블러(deblur)시키고, 상기 디블러된 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 상기 디블러된 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 제2 이미지와 비교하고, 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하며, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는, 멀티 애퍼처 카메라에서의 깊이 추출 장치.
  14. 제11항에 있어서,
    상기 추정부는
    상기 광학적 회절 현상에 의한 블러의 픽셀 개수를 기초로 상기 제2 이미지를 컨벌루션하여 블러시키고, 상기 제1 이미지에 복수의 PSF들을 적용하여 컨벌루션하며, 상기 제1 이미지가 컨벌루션된 결과로 획득되는 제1 블러 이미지들 각각을 상기 블러된 제2 이미지와 비교하고, 상기 비교 결과를 기초로 상기 복수의 PSF들 중 어느 하나의 PSF를 선택하며, 상기 선택된 어느 하나의 PSF를 이용하여 상기 제1 이미지 및 상기 제2 이미지에서의 깊이를 추정하는, 멀티 애퍼처 카메라에서의 깊이 추출 장치.
PCT/KR2015/008813 2015-08-24 2015-08-24 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치 WO2017034046A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/008813 WO2017034046A1 (ko) 2015-08-24 2015-08-24 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/008813 WO2017034046A1 (ko) 2015-08-24 2015-08-24 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2017034046A1 true WO2017034046A1 (ko) 2017-03-02

Family

ID=58100373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008813 WO2017034046A1 (ko) 2015-08-24 2015-08-24 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2017034046A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616377B1 (ko) * 1998-06-03 2006-08-28 코니카 미놀타 홀딩스 가부시키가이샤 광 픽업 장치, 광 정보 기록 매체 재생 기록 장치, 및 광 픽업 장치용 집광 광학계
US20120249833A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
US20130258096A1 (en) * 2012-03-28 2013-10-03 Gazi Ali System And Method For Performing Depth Estimation By Utilizing An Adaptive Kernel
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
KR20150043312A (ko) * 2012-07-12 2015-04-22 주식회사 듀얼어퍼처인터네셔널 제스처―기반 사용자 인터페이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100616377B1 (ko) * 1998-06-03 2006-08-28 코니카 미놀타 홀딩스 가부시키가이샤 광 픽업 장치, 광 정보 기록 매체 재생 기록 장치, 및 광 픽업 장치용 집광 광학계
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US20120249833A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
US20130258096A1 (en) * 2012-03-28 2013-10-03 Gazi Ali System And Method For Performing Depth Estimation By Utilizing An Adaptive Kernel
KR20150043312A (ko) * 2012-07-12 2015-04-22 주식회사 듀얼어퍼처인터네셔널 제스처―기반 사용자 인터페이스

Similar Documents

Publication Publication Date Title
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2021201438A1 (en) System and method for motion warping using multi-exposure frames
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2010038941A2 (en) Apparatus and method of obtaining high resolution image
WO2016089114A1 (en) Method and apparatus for image blurring
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2016183743A1 (en) System and method for supporting image denoising based on neighborhood block dimensionality reduction
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2019235903A1 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
WO2016204382A1 (ko) 모션 블러 이미지 복원 방법 및 장치
WO2013009099A2 (ko) 블러 처리 장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
WO2016098943A1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
WO2017209509A1 (ko) 영상 처리 장치, 그의 영상 처리 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2017034046A1 (ko) 멀티 애퍼처 카메라에서의 깊이 추출 방법 및 장치
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
EP4388492A1 (en) Method and electronic device for synthesizing image training data and image processing using artificial intelligence
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
WO2020171258A1 (ko) 영상 처리 방법 및 그 장치
WO2015088106A1 (ko) 영상 노이즈 제거 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15902318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15902318

Country of ref document: EP

Kind code of ref document: A1