WO2016171296A1 - 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치 - Google Patents

비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치 Download PDF

Info

Publication number
WO2016171296A1
WO2016171296A1 PCT/KR2015/004097 KR2015004097W WO2016171296A1 WO 2016171296 A1 WO2016171296 A1 WO 2016171296A1 KR 2015004097 W KR2015004097 W KR 2015004097W WO 2016171296 A1 WO2016171296 A1 WO 2016171296A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
image
depth
blur
pixels
Prior art date
Application number
PCT/KR2015/004097
Other languages
English (en)
French (fr)
Inventor
경종민
우마르 카림 칸무하마드
김영규
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2015/004097 priority Critical patent/WO2016171296A1/ko
Publication of WO2016171296A1 publication Critical patent/WO2016171296A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention relates to an apparatus and method for estimating depth of an image using non-square and non-circle apertures in a camera system, and more particularly to non-square and non-circle shapes.
  • the technique of estimating the depth of an existing image uses two apertures to obtain two images having different blurs, thereby comparing the blur between the two images to estimate the depth of the image.
  • a technique for estimating the depth of an existing image acquires one of an R image, a G image, or a B image by using an aperture that selectively introduces one of the RGB signals, and selectively introduces the IR signal.
  • the depth of the image is estimated by comparing the blur between any one of the R image, the G image, or the B image and the IR image.
  • Such a technique of estimating the depth of an image has difficulty in determining an optimal optical exposure time for each of the two apertures in the process of acquiring the two images using the two apertures.
  • the conventional technique for estimating the depth of an image is either one of the RGB signals and a single image sensor that processes the IR signal. There is a problem that the quality of the formed image is degraded.
  • a technique for easily determining the optimal optical exposure time for the aperture solving the problem of deterioration of the image quality due to the inflow of the IR signal, and reducing the complexity of the process of comparing the blur of the image Suggest.
  • Embodiments of the present invention facilitate the determination of optimal optical exposure time for apertures by using non-square and non-circular apertures, and solve the problem of degrading the image quality due to the influx of IR signals.
  • the present invention provides a method and apparatus for estimating depth of an image, which reduces a complexity of a process of comparing an image blur.
  • embodiments of the present invention provide a method and apparatus for estimating depth of an image using a rectangular shaped aperture.
  • Embodiments of the present invention also provide a method and apparatus for estimating depth of an image using diamond-shaped apertures.
  • embodiments of the present invention provide a method and apparatus for estimating depth of an image using a plurality of diamond-shaped apertures.
  • Depth estimation method of the image using the non-square and non-circle aperture obtains the image by using the non-square and non-circular aperture Doing; Detecting an edge in the image; Measuring a horizontal blur and a vertical blur of each of the pixels of the edge; Calculating a disparity between the horizontal blur and the vertical blur in each of the pixels at the edge; And estimating a depth of each of the pixels of the edge based on the difference value for each of the pixels of the edge.
  • the non-square and non-circular apertures may be rectangular apertures.
  • Measuring horizontal blur and vertical blur of each of the pixels of the edge may include performing edge direction correction on the horizontal blur and vertical blur observed in each of the pixels of the edge.
  • Measuring horizontal blur and vertical blur of each of the pixels of the edge may further include performing pixel intensity correction on the horizontal and vertical blur of each of the pixels of the edge.
  • Detecting edges in the image may include performing high frequency filtering to detect edges in the image.
  • An apparatus for estimating depth of an image using non-square and non-circular apertures includes: non-square and non-circular apertures; An image sensor which acquires an image using the non-square and non-circular apertures; And detecting an edge in the image, measuring a horizontal blur and a vertical blur of each of the pixels of the edge, and calculating a difference value between the horizontal blur and the vertical blur in each of the pixels of the edge, And a depth estimator for estimating a depth of each of the pixels of the edge based on the difference value for each of the pixels.
  • a method of estimating depth of an image using a diamond-shaped aperture includes: obtaining an image using a diamond-shaped aperture; Detecting an edge in the image; Calculating an orientation for the linear segment of the edge; Comparing the angle between the horizontal axis and the line along the calculated direction with an angle between the horizontal axis and any one side included in the diamond shape of the aperture; And estimating a depth of each of the pixels of the edge using either vertical blur or horizontal blur of each of the pixels of the edge based on the comparison result.
  • Estimating the depth of each of the pixels of the edge using either the vertical blur or the horizontal blur of each of the pixels of the edge based on the comparison result may be performed between the line and the horizontal axis along the direction of the calculated edge. Estimating the depth of each pixel of the edge using a vertical blur of each pixel of the edge when the angle is smaller than the angle between one side included in the diamond shape of the aperture and the horizontal axis have.
  • Estimating the depth of each of the pixels of the edge using either the vertical blur or the horizontal blur of each of the pixels of the edge based on the comparison result may be performed between the line and the horizontal axis along the direction of the calculated edge. Estimating the depth of each of the pixels of the edge using horizontal blur of each of the pixels of the edge when the angle is larger than the angle between any one side included in the diamond shape of the aperture and the horizontal axis. have.
  • the method may further include measuring any one of a horizontal blur and a vertical blur.
  • An apparatus for estimating depth of an image using a diamond-shaped aperture includes a diamond-shaped aperture; An image sensor acquiring an image using the diamond-shaped aperture; And detect an edge in the image, calculate a direction for a linear segment of the edge, and determine an angle between a line and a horizontal axis along the calculated direction between any one side included in the diamond shape of the aperture and the horizontal axis. And a depth estimator for estimating a depth of each of the pixels of the edge by using either vertical blur or horizontal blur of each of the pixels of the edge based on the comparison result.
  • a depth estimation method of an image using a plurality of diamond-shaped apertures may include obtaining a plurality of images by using a plurality of diamond-shaped apertures. ; Detecting an edge in the plurality of images; Calculating an orientation for the linear segment of the edge; Comparing the angle between the line and the horizontal axis along the calculated direction with an angle between any one side included in the diamond shape of each of the plurality of apertures and the horizontal axis; And estimating a depth of each of the pixels of the edge based on a difference between any one of the vertical blur or the horizontal blur of each of the pixels of the edge, the selected one according to the comparison result, between the plurality of images.
  • Estimating a depth of each of the pixels of the edge based on a difference of either vertical blur or horizontal blur of each of the pixels of the edge between the plurality of images may be based on the comparison result.
  • the method may further include measuring either horizontal blur or vertical blur of each of the pixels of the edge.
  • the angle between any one side included in the diamond shape of each of the plurality of apertures and the horizontal axis is formed differently according to the diamond shape of each of the plurality of apertures, the diamond shape of each of the plurality of apertures Silver areas may be equal to each other.
  • An apparatus for estimating depth of an image using a plurality of diamond shaped apertures may include a plurality of diamond shaped apertures; An image sensor acquiring a plurality of images using the plurality of diamond shaped apertures; And detecting an edge in the plurality of images, calculating a direction with respect to a linear segment of the edge, wherein an angle between a line and a horizontal axis along the calculated direction is included in the diamond shape of each of the plurality of apertures.
  • a depth estimator for estimating a depth of each pixel of the edge.
  • Embodiments of the present invention facilitate the determination of optimal optical exposure time for apertures by using non-square and non-circular apertures, and solve the problem of degrading the image quality due to the influx of IR signals.
  • the present invention can provide a method and apparatus for estimating depth of an image to reduce the complexity of a process of comparing the blur of an image.
  • embodiments of the present invention may provide a method and apparatus for estimating depth of an image using an aperture having a rectangular shape.
  • embodiments of the present invention can provide a method and apparatus for estimating depth of an image using a diamond-shaped aperture.
  • embodiments of the present invention may provide a method and apparatus for estimating depth of an image using a plurality of diamond shaped apertures.
  • FIG. 1 is a diagram illustrating a camera system according to an exemplary embodiment.
  • FIG. 2 illustrates a non-square and non-circular aperture according to an embodiment.
  • FIG. 3 is a diagram for describing blur generated by an aperture of a non-square and a non-circular shape, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of estimating depth of an image using non-square and non-circular apertures, according to an exemplary embodiment.
  • FIG. 5 is a block diagram illustrating an apparatus for estimating depth of an image using non-square and non-circular apertures, according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a camera system according to another exemplary embodiment.
  • FIG. 7 is a view showing a diamond-shaped aperture according to another embodiment.
  • 8 (a) and 8 (b) are diagrams for explaining the blur generated by the diamond-shaped aperture according to another embodiment.
  • FIG. 9 is a flowchart illustrating a method of estimating depth of an image using a diamond-shaped aperture according to another exemplary embodiment.
  • FIG. 10 is a block diagram illustrating an apparatus for estimating depth of an image using diamond-shaped apertures according to another exemplary embodiment.
  • FIG. 11 is a diagram illustrating a camera system according to another exemplary embodiment.
  • FIG. 12 illustrates a plurality of diamond shaped apertures according to another exemplary embodiment.
  • 13A and 13B are diagrams for explaining blurs generated by a plurality of diamond-shaped apertures according to another exemplary embodiment.
  • FIG. 14 is a flowchart illustrating a method of estimating depth of an image using a plurality of diamond shaped apertures according to another exemplary embodiment.
  • FIG. 15 is a block diagram illustrating an apparatus for estimating depth of an image using a plurality of diamond shaped apertures, according to another exemplary embodiment.
  • FIG. 1 is a diagram illustrating a camera system according to an exemplary embodiment.
  • a camera system may include a lens 110, a non-square and non-circular aperture 120, a shutter 130, a color filter array 140, and an image sensor 150. Include.
  • the image sensor 150 may include a depth estimator.
  • the present invention is not limited thereto, and the depth estimator may be provided as an independent module distinguished from the image sensor 150.
  • the shutter 130 is a module for adjusting the optical exposure time of the optical signal flowing through the aperture 120, the color filter array 140, the optical signal is an image sensor 150 for each of the R signal, G signal and B signal It may be a module for filtering to flow into.
  • the shutter 130 may be embedded in the aperture 120, and the color filter array 140 may be embedded in the image sensor 150. Therefore, the camera system according to the exemplary embodiment may include a lens 110, an aperture 120 and an image sensor 150 having non-square and non-circular shapes.
  • an apparatus for estimating a depth of an image for performing a depth estimating method of an image is described as being composed of an aperture 120, an image sensor 150, and a depth estimator included in a camera system.
  • the image sensor 150 acquires an image by using the non-square and non-circular apertures 120.
  • the depth estimator included in the image sensor 150-or provided as an independent module -estimates the depth of the image in the acquired image using the non-square and non-circular apertures 120. Detailed description thereof will be described below.
  • FIG. 2 illustrates a non-square and non-circular aperture according to an embodiment.
  • the non-square and non-circular aperture 210 may be a rectangular aperture.
  • the aperture 210 may be either a vertically long rectangular shape or a horizontally long rectangular shape.
  • the aperture 210 introduces an optical signal in the visible frequency spectrum.
  • the image obtained using the aperture 210 may be an RGB image-color image-formed as an RGB signal.
  • the apparatus for estimating the depth of an image may estimate the depth according to the difference between the horizontal blur and the vertical blur in each of the pixels of the edge in the image. For example, the apparatus for estimating the depth of an image may provide a greater depth as the difference between the horizontal blur and the vertical blur in each of the pixels of the edge is greater, and the smaller the difference as the difference is smaller.
  • horizontal blur and vertical blur in each of the pixels of the edge may be measured by using a matrix such as Equation (1).
  • Equation 1 ⁇ X means horizontal blur or vertical blur, x means pixel distance from the center to the edge of the edge of the image, and L (x) means intensity at x.
  • the maximum value of x should be set to the maximum expected blur.
  • the horizontal blur and the vertical blur measured at the edge of the image may be measured not only in the pixel unit but also in the window unit of the plurality of pixels.
  • the horizontal blur and vertical blur of each of the pixels of the edge in the measured image may be used in the depth estimation process of the image to be described later.
  • FIG. 3 is a diagram for describing blur generated by an aperture of a non-square and a non-circular shape, according to an exemplary embodiment.
  • the apparatus for estimating the depth of an image may use the actual horizontal blur and the vertical blur in the depth estimation process by performing the following edge direction correction on the horizontal blur and the vertical blur observed in each of the pixels of the edge. Can be.
  • the triangle ⁇ ACD is expressed by Equation 2 below.
  • Equation 2 B h means the observed horizontal blur, b h means the hidden horizontal blur, ⁇ means the angle formed by the line along the horizontal axis along the direction to the linear segment of the edge, b y Means the actual vertical blur of each of the pixels of the edge.
  • the triangle ⁇ ABC is expressed by Equation 3 below.
  • Equation 3 b X denotes the actual horizontal blur of each of the pixels of the edge, and ⁇ is the line from the center point of the image 310 to the edge vertex A obtained using the non-square and non-circular apertures. And the angle formed by the horizontal axis.
  • Equations 4 and 5 are derived from Equations 2 and 3.
  • Equation 5 B y means the observed vertical blur.
  • the depth estimator of the image performs the edge direction correction based on the equations (4) and (5), so that the actual horizontal blur and vertical blur of each of the pixels of the edge from the horizontal blur and vertical blur observed in each of the pixels of the edge. Can be obtained.
  • the depth estimation apparatus of the image additionally performs pixel intensity correction on the horizontal blur and vertical blur of each of the pixels of the edge. It may be.
  • the apparatus for estimating the depth of an image may construct a change in blur for other colors into a table in advance, and then perform pixel intensity correction, which is correction for color, using the pre-built table.
  • FIG. 4 is a flowchart illustrating a method of estimating depth of an image using non-square and non-circular apertures, according to an exemplary embodiment.
  • an apparatus for estimating depth of an image acquires an image by using apertures of non-square and non-circular shapes.
  • rectangular apertures may be used as non-square and non-circular apertures.
  • the rectangular aperture may be either a vertically long rectangular shape or a horizontally long rectangular shape.
  • the depth estimation apparatus of the image detects an edge in the image (420).
  • the apparatus for estimating the depth of an image may perform high frequency filtering to detect an edge.
  • the depth estimator of the image measures 430 the horizontal and vertical blur of each of the pixels at the edge.
  • the apparatus for estimating the depth of an image may measure horizontal blur and vertical blur of each pixel of an edge by using Equation 1.
  • the apparatus for estimating the depth of the image may perform the above-described edge direction correction on the horizontal blur and the vertical blur observed in each of the pixels of the edge in the process of measuring the horizontal blur and the vertical blur of each pixel of the edge. have. Also, the depth estimation apparatus of the image may perform pixel intensity correction on horizontal blur and vertical blur of each of the pixels of the edge. Thus, in the process described below, the actual horizontal blur and vertical blur of each of the pixels of the edge may be used.
  • the depth estimation apparatus of the image then calculates a difference value between the horizontal blur and the vertical blur in each of the pixels at the edge (440).
  • the depth estimation apparatus of the image estimates the depth of each of the pixels of the edge based on the difference value for each of the pixels of the edge (450).
  • the apparatus for estimating the depth of an image may give a larger depth as the difference value is larger in each of the pixels of the edge, and may give a smaller depth as the difference value is smaller.
  • the depth estimating method of the image performed by the apparatus for estimating the depth of an image uses a single aperture having a non-square and non-circular shape to easily determine an optimal optical exposure time for the aperture. And, by using only the color image, it is possible to solve the problem that the quality of the image is reduced due to the inflow of the IR signal.
  • the depth estimator of the image compares the horizontal blur and the vertical blur of each of the pixels of the edge in one image acquired with a single aperture, the complexity of the process of comparing the blur is reduced in the existing two images. It can be lower than the comparison process.
  • FIG. 5 is a block diagram illustrating an apparatus for estimating depth of an image using non-square and non-circular apertures, according to an exemplary embodiment.
  • an apparatus for estimating depth of an image includes a non-square and non-circular aperture 510, an image sensor 520, and a depth estimator 530.
  • the depth estimator 530 is described as being provided as an independent module that is distinguished from the image sensor 520, but is not limited thereto.
  • the depth estimator 530 may be provided in the image sensor 520. May be
  • the non-square and non-circular apertures 510 may be rectangular apertures.
  • the rectangular aperture may be a vertically long rectangular shape or a horizontally long rectangular shape.
  • the image sensor 520 acquires an image by using the non-square and non-circular apertures 510.
  • the depth estimator 530 detects an edge in the image, measures horizontal blur and vertical blur of each pixel of the edge, and calculates a difference value between horizontal blur and vertical blur in each of the pixels of the edge, The depth of each of the pixels at the edge is estimated based on the difference value for each of the pixels. For example, the depth estimator 530 may provide a greater depth as the difference value is larger in each pixel of the edge, and may provide a smaller depth as the difference value is smaller.
  • the depth estimator 530 may perform high frequency filtering to detect the edge.
  • the depth estimator 530 may perform the above-described edge direction correction on the horizontal blur and the vertical blur observed in each pixel of the edge in the process of measuring the horizontal blur and the vertical blur of each pixel of the edge. Can be.
  • the depth estimator 530 may perform pixel intensity correction on the horizontal blur and the vertical blur of each pixel of the edge in the process of measuring the horizontal blur and the vertical blur of each pixel of the edge.
  • FIG. 6 is a diagram illustrating a camera system according to another exemplary embodiment.
  • a camera system includes a lens 510, a diamond-shaped aperture 620, a shutter 630, a color filter array 640, and an image sensor 650.
  • the image sensor 650 may include a depth estimator.
  • the present invention is not limited thereto, and the depth estimator may be provided as an independent module that is distinguished from the image sensor 650.
  • the shutter 630 is a module for adjusting the optical exposure time of the optical signal flowing through the aperture 620
  • the color filter array 640 is the optical signal is an image sensor 650 for each of the R signal, G signal and B signal It may be a module for filtering to flow into.
  • the shutter 630 may be embedded in the aperture 620 and the color filter array 640 may be included in the image sensor 650.
  • the camera system may be composed of a lens 610, a diamond-shaped aperture 620, and an image sensor 650.
  • an apparatus for estimating the depth of an image for performing the depth estimating method of an image is described as being composed of an aperture 620, an image sensor 650, and a depth estimator included in a camera system.
  • the image sensor 650 acquires an image using the diamond-shaped aperture 620. Accordingly, the depth estimator included in the image sensor 650 or provided as an independent module estimates the depth of the image in the acquired image using the diamond-shaped aperture 620. Detailed description thereof will be described below.
  • FIG. 7 is a view showing a diamond-shaped aperture according to another embodiment.
  • a diamond-shaped aperture 710 introduces an optical signal in the visible frequency spectrum.
  • the image obtained using the aperture 710 may be an RGB image-color image-formed as an RGB signal.
  • An image acquired using the aperture 710 may generate a maximum blur in either the vertical direction or the horizontal direction of each pixel, unlike the image obtained using the rectangular-shaped aperture shown in FIG. 3. (Images obtained using rectangular shaped apertures produce maximum blur in the diagonal direction).
  • the direction for the linear segments of the edges in the image obtained using the aperture 710 falls within a certain category (the angle of the direction for the linear segments of the edges falls within a certain angle)
  • another embodiment may ignore either the horizontal blur or the vertical blur in the process of estimating the depth according to the difference between the horizontal blur and the vertical blur in each of the pixels of the edge in the image.
  • the apparatus for estimating depth of an image may impart depth based on either horizontal blur or vertical blur in each of the pixels of the edge. More specifically, for example, the depth estimator of the image may provide a greater depth as the value of either the horizontal blur or the vertical blur in each of the pixels of the edge, and the smaller depth as the value is smaller.
  • the horizontal blur and vertical blur in each of the pixels of the edge may be measured using Equation 1 described above.
  • 8 (a) and 8 (b) are diagrams for explaining the blur generated by the diamond-shaped aperture according to another embodiment.
  • an angle ⁇ which is an angle between a line and a horizontal axis along a direction with respect to a linear segment of an edge, is apertured.
  • ⁇ which is the angle between one side and the horizontal axis included in the diamond shape of (theta is less than ⁇ / 2)
  • the vertical blur can be hidden by the horizontal blur
  • the horizontal blur is ⁇ It depends on the aperture size in the horizontal dimension.
  • an angle ⁇ between the line and the horizontal axis along the direction with respect to the linear segment of the edge is smaller than ⁇ , the angle between the horizontal axis and any one side included in the diamond shape of the aperture ( For b), the horizontal blur can be hidden by the vertical blur, the vertical blur being independent of ⁇ , depending on the aperture size in the vertical dimension.
  • the apparatus for estimating the depth of an image provides an apparatus for estimating an actual vertical blur or horizontal blur from the vertical blur or horizontal blur observed in each of the pixels of the edge.
  • Each of the pixels of the edge is selected by comparing either vertical or horizontal blur for each of the pixels of the edge, based on ⁇ , the angle between the line and the horizontal axis along the direction to the linear segment of the angle-edge. We can estimate the depth of.
  • the apparatus for estimating depth of an image may estimate the depth of each of the pixels of the edge using (a) horizontal blur of each of the pixels of the edge, and in case of (b), each of the pixels of the edge
  • the vertical blur of can be used to estimate the depth of each of the pixels of the edge.
  • FIG. 9 is a flowchart illustrating a method of estimating depth of an image using a diamond-shaped aperture according to another exemplary embodiment.
  • an apparatus for estimating depth of an image acquires an image using a diamond-shaped aperture (910).
  • the depth estimation apparatus of the image detects an edge in the image (920).
  • the apparatus for estimating the depth of an image may perform high frequency filtering to detect an edge.
  • the apparatus for estimating depth of an image then calculates the direction for the linear segment of the edge (930).
  • an apparatus for estimating depth of an image may calculate a direction of a linear segment of an edge by using a schema such as Sobel filtering.
  • the depth estimating apparatus of the image then compares the angle between the line and the horizontal axis along the calculated direction with the angle between one side and the horizontal axis included in the diamond shape of the aperture (940).
  • the depth estimation apparatus of the image estimates the depth of each of the pixels of the edge using either vertical blur or horizontal blur of each of the pixels of the edge based on the comparison result (950).
  • the depth estimator of the image may determine Vertical blur can be used to estimate the depth of each of the pixels at the edge.
  • the depth estimating apparatus of the image may give a larger depth as the value of the vertical blur in each of the pixels of the edge, and may give a smaller depth as the value is smaller.
  • the depth estimator of the image is horizontal
  • the blur can be used to estimate the depth of each of the pixels at the edge.
  • the depth estimator of an image may give a greater depth as the value of horizontal blur in each of the pixels of the edge, and may give a smaller depth as the value is smaller.
  • the apparatus for estimating the depth of the image is based on the comparison result before estimating the depth of each of the pixels of the edge using either vertical blur or horizontal blur of each pixel of the edge based on the comparison result.
  • Either the horizontal blur or the vertical blur of each of the pixels may be measured. For example, if the angle between the line and the horizontal axis along the direction of the calculated edge is smaller than the angle between any side and the horizontal axis included in the diamond shape of the aperture, then the depth estimator of the image may determine Vertical blur can be measured using Equation 1.
  • the depth estimator of the image is horizontal
  • the blur can be measured using Equation 1.
  • the depth estimating method of the image performed by the apparatus for estimating the depth of an image may easily determine an optimal optical exposure time for the aperture by using a single diamond-shaped aperture, By using only the color image, the problem of deterioration of the image quality due to the inflow of the IR signal can be solved.
  • the depth estimator of the image compares either horizontal blur or vertical blur at each of the pixels of the edge in one image acquired with a single aperture, the complexity of the process of comparing the blurs is reduced. Can be lower than the process of comparing the blur at the edges, and only one of the horizontal and vertical blurs is calculated at each of the pixels at the edges, thereby reducing the complexity than calculating both the horizontal and vertical blurs at each of the pixels at the edges. Can be lowered.
  • FIG. 10 is a block diagram illustrating an apparatus for estimating depth of an image using diamond-shaped apertures according to another exemplary embodiment.
  • an apparatus for estimating depth of an image includes a diamond-shaped aperture 1010, an image sensor 1020, and a depth estimator 1030.
  • the depth estimator 1030 is described as being provided as an independent module that is distinguished from the image sensor 1020, but is not limited thereto.
  • the depth estimator 1030 is included in the image sensor 1020. May be
  • the image sensor 1020 acquires an image using the diamond-shaped aperture 1010.
  • the depth estimator 1030 detects an edge in the image, calculates a direction with respect to the linear segment of the edge, and calculates an angle between the line and the horizontal axis along the calculated direction in one of the sides and the horizontal axis included in the diamond shape of the aperture.
  • the depth of each of the pixels of the edge is estimated by using either vertical blur or horizontal blur of each of the pixels of the edge based on the comparison result.
  • the depth estimator 1030 may determine each of the pixels of the edge.
  • the vertical blur of can be used to estimate the depth of each of the pixels of the edge.
  • the depth estimator 1030 may provide a greater depth as the value of the vertical blur in each of the pixels of the edge, and may provide a smaller depth as the value is smaller.
  • the depth estimator 1030 determines that each of the pixels of the edge is the same.
  • Horizontal blur can be used to estimate the depth of each of the pixels at the edge.
  • the depth estimator 1030 may provide a greater depth as the value of the horizontal blur in each of the pixels of the edge, and may provide a smaller depth as the value is smaller.
  • the depth estimator 1030 may perform high frequency filtering to detect an edge, and calculate a direction of a linear segment of the edge by using a schema such as Sobel filtering.
  • the depth estimator 1030 uses the vertical blur or the horizontal blur of each of the pixels of the edge based on the comparison result before estimating the depth of each of the pixels of the edge, based on the comparison result. Either the horizontal blur or the vertical blur of each of the pixels may be measured. For example, when the angle between the line and the horizontal axis along the direction of the calculated edge is smaller than the angle between one side and the horizontal axis included in the diamond shape of the aperture, the depth estimator 1030 may determine each of the pixels of the edge. The vertical blur of can be measured.
  • the depth estimator 1030 determines that each of the pixels of the edge is the same. Horizontal blur can be measured.
  • FIG. 11 is a diagram illustrating a camera system according to another exemplary embodiment.
  • a camera system may include a lens 1110, a plurality of diamond-shaped apertures 1120, a shutter 1130, a color filter array 1140, and an image sensor 1150. It includes.
  • the image sensor 1150 may include a depth estimator.
  • the present invention is not limited thereto, and the depth estimator may be provided as an independent module that is distinguished from the image sensor 1150.
  • the shutter 1130 is a module for adjusting the optical exposure time of the optical signal flowing through the apertures 1120, and the color filter array 1140 is an image sensor 1150 for each of the R, G, and B signals of the optical signal. It may be a module for filtering to enter.
  • the shutter 1130 may be provided embedded in the apertures 1120, and the color filter array 1140 may be provided embedded in the image sensor 1150. Therefore, the camera system according to another embodiment may be composed of a lens 1110, a plurality of diamond-shaped apertures 1120 and an image sensor 1150.
  • an apparatus for estimating the depth of an image for performing the depth estimating method of the image is described as being composed of the apertures 1120, the image sensor 1150, and the depth estimator included in the camera system.
  • the image sensor 1150 acquires a plurality of images using the plurality of diamond shaped apertures 1120. Therefore, the depth estimator included in the image sensor 1150 or provided as an independent module estimates the depth of the images in the plurality of images obtained by using the plurality of diamond-shaped apertures 1120. . Detailed description thereof will be described below.
  • FIG. 12 illustrates a plurality of diamond shaped apertures according to another exemplary embodiment.
  • each of the plurality of diamond shaped apertures 1210 introduces an optical signal having a visible frequency spectrum.
  • the plurality of images acquired using the plurality of apertures 1210 may be RGB images-color images-formed as RGB signals.
  • the image acquired using the first aperture 1211 may be an R image formed of an R signal
  • the image acquired using the second aperture 1212 is a GB image formed of a GB signal. Can be.
  • the plurality of apertures 1210 are different from each other in the shape of the diamond, but may have the same region for introducing the optical signal.
  • the area of the diamond shape for introducing the optical signal may be the same.
  • an apparatus for estimating depth of an image according to another exemplary embodiment of estimating depth from a plurality of images acquired using the plurality of apertures 1210 may include an image using a single diamond-shaped aperture shown in FIG. 7. Similar to the depth estimation apparatus of, when the direction for the linear segment of the edge is included in a specific category in the plurality of images acquired using the plurality of apertures 1210 (the angle of the direction for the linear segment of the edge).
  • the depth of each of the pixels of the edge can be estimated based on the difference of either vertical blur or horizontal blur of each of the pixels of the edge between the plurality of images.
  • an apparatus for estimating the depth of an image gives a greater depth as the difference between either horizontal blur or vertical blur in each of the pixels of the edge between the plurality of images, and gives a smaller depth as the difference is smaller. can do. Detailed description thereof will be described below.
  • 13A and 13B are diagrams for explaining blurs generated by a plurality of diamond-shaped apertures according to another exemplary embodiment.
  • the plurality of diamond-shaped apertures 1310 are described as two diamond-shaped apertures, and in the case of FIG. 13B, According to another embodiment, the plurality of diamond shaped apertures 1320 are described as three diamond shaped apertures.
  • an image obtained by using the first aperture 1311 may be an R image formed by an R signal
  • an image obtained by using the second aperture 1312. May be a GB image formed of a GB signal.
  • an image acquired using the first aperture 1321 may be an R image formed of an R signal
  • an image acquired using the second aperture 1322 is G.
  • the image may be a G image formed as a signal
  • the image acquired using the third aperture 1323 may be a B image formed as a B signal.
  • an angle between one side included in the diamond shape of the first aperture 1311 and a horizontal axis among the plurality of diamond-shaped apertures 1310 according to another exemplary embodiment is provided.
  • ⁇ is formed at an angle smaller than ⁇ , which is an angle between one side included in the diamond shape of the second aperture 1312 and the horizontal axis.
  • the angle of ⁇ and the first aperture 1311 is the angle between the horizontal axis and the line along the direction to the linear segment of the edge in the plurality of images, according to the observed blur equal to the actual blur in each of the pixels of the edge.
  • the relationship between the angle ⁇ and the angle ⁇ of the second aperture 1312 is shown in Table 1.
  • the depth estimator of the image blurs each of the pixels of the edge to compare between the plurality of images.
  • the direction of (the direction in which the blur and the actual blur observed in each of the pixels of the edge are the same) may be shown in Table 2.
  • the apparatus for estimating the depth of an image includes ⁇ , which is an angle between a line and a horizontal axis along a direction of a linear segment of an edge, in a plurality of images, in a diamond shape of the first aperture 1311.
  • the first aperture 1311 and the second aperture by comparing the angle ⁇ and the ⁇ between the horizontal axis and the angle included in the diamond shape of the second aperture 1312.
  • the pixel of the edge based on the difference of either vertical blur or horizontal blur of each of the pixels of the edge between the first image and the second image obtained using each of the apertures 1312-either selected according to the comparison result. The depth of each of these can be estimated.
  • an apparatus for estimating depth of an image has an angle ⁇ , which is an angle between a line and a horizontal axis along a direction with respect to a linear segment, than an angle between ⁇ and any horizontal axis included in the diamond shape of the first aperture 1311.
  • the vertical blur of each of the pixels of the edge in the first image obtained using the first aperture 1311 and the pixels of the edge of each of the pixels in the second image obtained using the second aperture 1312 By calculating the difference between the vertical blurs, in the first image obtained using the first aperture 1311, in the second image acquired using the vertical blur and the second aperture 1312 of each of the pixels of the edge, The depth of each of the pixels of the edge can be estimated based on the difference between the vertical blur of each of the pixels of the edge.
  • the apparatus for estimating the depth of the image may include the vertical blur of each pixel of the edge in the first image acquired using the first aperture 1311 and the second image acquired by using the second aperture 1312. The greater the difference between the vertical blurs of each of the pixels of the edge, the greater the depth, and the smaller the difference, the smaller the depth.
  • an apparatus for estimating depth of an image includes an angle ⁇ , which is an angle between a line and a horizontal axis along a direction with respect to a linear segment, an angle between any one side included in the diamond shape of the first aperture 1311 and the horizontal axis. Larger than and smaller than ⁇ , the angle between one side included in the diamond shape of the second aperture 1312 and the horizontal axis, the pixels of the edge in the first image obtained using the first aperture 1311 The first obtained using the first aperture 1311 by calculating the difference between the vertical blur of each of the pixels of the edge in the second image obtained using each horizontal blur and the second aperture 1312.
  • Depth of each of the pixels of the edge is based on the difference between the horizontal blur of each of the pixels of the edge in the image and the vertical blur of each of the pixels of the edge in the second image obtained using the second aperture 1312.
  • the apparatus for estimating the depth of the image may include the horizontal blur of each of the pixels of the edge in the first image acquired using the first aperture 1311 and the second image acquired using the second aperture 1312. The greater the difference between the vertical blurs of each of the pixels of the edge, the greater the depth, and the smaller the difference, the smaller the depth.
  • the apparatus for estimating the depth of an image includes an angle ⁇ , which is an angle between a line and a horizontal axis along a direction with respect to a linear segment, being an angle between one side and a horizontal axis included in a diamond shape of the second aperture 1312.
  • ⁇ is an angle between a line and a horizontal axis along a direction with respect to a linear segment, being an angle between one side and a horizontal axis included in a diamond shape of the second aperture 1312.
  • the apparatus for estimating the depth of the image may include the horizontal blur of each of the pixels of the edge in the first image acquired using the first aperture 1311 and the second image acquired using the second aperture 1312. The greater the difference between the horizontal blurs of each of the pixels of the edge, the greater the depth, and the smaller the difference, the smaller the depth.
  • an angle between one side included in the diamond shape of the first aperture 1321 of the plurality of diamond-shaped apertures 1320 is an angle between ⁇ , ⁇ which is an angle between one side included in the diamond shape of the second aperture 1322 and the horizontal axis, and ⁇ that is an angle between any side included in the diamond shape of the third aperture 1323 and the horizontal axis.
  • the magnitude has a relationship of ⁇ ⁇ ⁇ .
  • the angle of ⁇ and the first aperture 1321 which is the angle between the horizontal axis and the line along the direction to the linear segment of the edge in the plurality of images, according to the observed blur equal to the actual blur in each of the pixels at the edge.
  • the relationship between the angle (alpha), the angle (beta) of the 2nd aperture 1322, and the angle (gamma) of the 3rd aperture 1323 is shown in Table 3.
  • ⁇ which is an angle between the line and the horizontal axis along the direction of the linear segment of the edge in the plurality of images from Table 3, the depth estimator of the image blurs each of the pixels of the edge to be compared between the plurality of images.
  • the direction of (the direction in which the blur and the actual blur observed in each of the pixels of the edge are the same) can be shown in Table 4.
  • the apparatus for estimating the depth of an image includes ⁇ , which is an angle between a line and a horizontal axis along a direction of a linear segment of an edge, in a plurality of images, in a diamond shape of the first aperture 1321.
  • ⁇ which is an angle between any one side and the horizontal axis, ⁇ included in the diamond shape of the second aperture 1322 and the horizontal axis, and which is included in the diamond shape of the third aperture 1323
  • a first image, a second image, and a second image acquired using each of the first aperture 1321, the second aperture 1322, and the third aperture 1323 by comparing with the angle ⁇ between one side and the horizontal axis.
  • the depth of each of the pixels of the edge may be estimated based on the difference of either vertical blur or horizontal blur of each of the pixels of the edge between the third images, which is selected according to the comparison result.
  • the apparatus for estimating the depth of an image may include a first image acquired using the first aperture 1321, a second image obtained using the second aperture 1322, and a third aperture 1323.
  • the selected one according to the comparison result, between the third image obtained, between the first image and the second image the second Only the difference between any one of the vertical blur and the horizontal blur of each of the pixels of the edge between the image and the third image or between the first image and the third image may be selectively calculated.
  • the apparatus for estimating the depth of an image may calculate only a difference of either vertical blur or horizontal blur of each of the pixels of the edge between the first image and the second image.
  • the apparatus for estimating the image depth may further simplify the process of calculating either vertical blur or horizontal blur of each of the pixels of the edge in two images of the first image, the second image, or the third image.
  • the direction of each of the pixels of the edge may be uniformly calculated. For example, when ⁇ , the angle between the line and the horizontal axis along the direction for the linear segment of the edge in the plurality of images is between ⁇ and ⁇ , the image depth estimation apparatus is perpendicular to each of the pixels of the edge in the second image. After calculating the blur and the vertical blur of each of the pixels of the edge in the third image, the differences can be compared.
  • the image depth estimation apparatus may determine whether each of the pixels of the edge in the first image After calculating the horizontal blur and the horizontal blur of each of the pixels of the edge in the second image, the differences can be compared.
  • FIG. 14 is a flowchart illustrating a method of estimating depth of an image using a plurality of diamond shaped apertures according to another exemplary embodiment.
  • an apparatus for estimating depth of an image acquires a plurality of images by using a plurality of diamond-shaped apertures (1410).
  • the apparatus for estimating the depth of the image detects an edge in the plurality of images (1420).
  • the apparatus for estimating the depth of an image may perform high frequency filtering to detect an edge.
  • the apparatus for estimating depth of an image then calculates a direction for the linear segment of the edge (1430).
  • an apparatus for estimating depth of an image may calculate a direction for a linear segment of an edge using a schema such as Sobel filtering.
  • the depth estimating apparatus of the image then compares an angle between the line and the horizontal axis along the calculated direction with an angle between one side and the horizontal axis included in the diamond shape of each of the plurality of apertures (1440).
  • the depth estimation apparatus of the image determines the depth of each of the pixels of the edge based on the difference of either the vertical blur or the horizontal blur of each of the pixels of the edge between the plurality of images, which is selected according to the comparison result. Estimate (1450).
  • the apparatus for estimating the depth of an image may give a greater depth as the difference between any one of the vertical blur or the horizontal blur of each of the pixels of the edge between the plurality of images is increased, and the smaller the value, the smaller the depth is. Can be given.
  • the apparatus for estimating the depth of the image may determine the depth of each of the pixels of the edge based on the difference between either the vertical blur or the horizontal blur of each of the pixels of the edge between the plurality of images, which is selected according to the comparison result.
  • one of horizontal blur or vertical blur of each of the pixels of the edge in the plurality of images may be measured using Equation 1 based on the comparison result.
  • the depth estimation apparatus of the image selects two images of the plurality of images, instead of measuring either horizontal or vertical blur of each of the pixels of the edge in all of the plurality of images, so that the pixels of the edge are selected. Either of each horizontal blur or vertical blur can be measured.
  • the depth estimating method of the image performed by the apparatus for estimating the depth of an image uses a plurality of apertures having the same diamond-shaped area, thereby facilitating an optimal optical exposure time for the aperture.
  • the apparatus for estimating the depth of an image selects two images having blurs to be compared in the same direction among a plurality of images, measures either horizontal blur or vertical blur of each pixel of the edge, and then compares them. As a result, the complexity of the existing two images may be lower than that of comparing blurs in different directions.
  • FIG. 15 is a block diagram illustrating an apparatus for estimating depth of an image using a plurality of diamond shaped apertures, according to another exemplary embodiment.
  • an apparatus for estimating depth of an image includes a plurality of diamond-shaped apertures 1510, an image sensor 1520, and a depth estimator 1530.
  • the depth estimator 1530 is described as being provided as an independent module that is distinguished from the image sensor 1520.
  • the present invention is not limited thereto, and the depth estimator 1530 is provided in the image sensor 1520. May be
  • the image sensor 1520 acquires a plurality of images using the plurality of diamond shaped apertures 1510.
  • the depth estimator 1530 detects an edge in the plurality of images, calculates a direction with respect to the linear segment of the edge, and converts an angle between the line and the horizontal axis according to the calculated direction to the diamond shape of each of the plurality of apertures. Compared to the angle between either side and the horizontal axis included, the edge of the edge based on the difference of either vertical blur or horizontal blur of each of the pixels of the edge between the plurality of images-either selected according to the comparison result Estimate the depth of each of the pixels.
  • the depth estimator 1530 may provide a greater depth as the difference between any one of the vertical blur or the horizontal blur of each of the pixels of the edge between the plurality of images increases, and the smaller the value, the smaller the depth. Depth can be given.
  • the depth estimator 1530 may perform high frequency filtering to detect an edge, and calculate a direction of a linear segment of the edge by using a schema such as Sobel filtering.
  • the depth estimator 1530 may determine the depth of each of the pixels of the edge based on the difference between any one of the vertical blur and the horizontal blur of each of the pixels of the edge among the plurality of images, which is selected according to the comparison result. Prior to estimating, one of the horizontal blur and the vertical blur of each of the pixels of the edges in the plurality of images may be measured based on the comparison result. In particular, the depth estimator 1530 selects two images of the plurality of images, instead of measuring either horizontal or vertical blur of each of the pixels of the edge in all of the plurality of images, thereby selecting the pixels of the edge. Either horizontal blur or vertical blur can be measured for each of these.

Abstract

비 정사각(non-square) 및 비 원(non-circle) 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법은 비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득하는 단계; 상기 이미지에서 에지를 검출하는 단계; 상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계; 상기 에지의 픽셀들 각각에서 상기 수평 블러 및 상기 수직 블러 사이의 차이값(disparity)을 계산하는 단계; 및 상기 에지의 픽셀들 각각에 대한 상기 차이값에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계를 포함한다.

Description

비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치
본 발명은 카메라 시스템에서 비 정사각(non-square) 및 비 원(non-circle) 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치 및 그 방법에 관한 것으로, 보다 구체적으로 비 정사각 및 비 원 형상의 애퍼처를 이용하여 획득되는 이미지에서의 수평 블러(horizontal blur) 또는 수직 블러(vertical blur) 중 어느 하나를 기초로, 이미지의 깊이를 추정하는 기술에 관한 것이다.
기존의 이미지의 깊이를 추정하는 기술은 두 개의 애퍼처들을 이용하여 서로 다른 블러를 갖는 두 개의 이미지들을 획득함으로써, 두 개의 이미지들 사이의 블러를 비교하여 이미지의 깊이를 추정한다. 예를 들어, 기존의 이미지의 깊이를 추정하는 기술은 RGB 신호 중 어느 하나를 선택적으로 유입시키는 애퍼처를 이용하여 R 이미지, G 이미지 또는 B 이미지 중 어느 하나를 획득하고, IR 신호를 선택적으로 유입시키는 애퍼처를 이용하여 IR 이미지를 획득함으로써, R 이미지, G 이미지 또는 B 이미지 중 어느 하나와 IR 이미지 사이의 블러를 비교하여 이미지의 깊이를 추정한다.
이와 같은 기존의 이미지의 깊이를 추정하는 기술은 두 개의 애퍼처들을 이용하여 두 개의 이미지들을 획득하는 과정에서, 두 개의 애퍼처들 각각에 대해 최적의 광학 노출 시간을 결정하는데 어려움이 있다. 또한, 기존의 이미지의 깊이를 추정하는 기술은 RGB 신호 중 어느 하나 및 IR 신호를 처리하는 단일 이미지 센서에서, 유입되는 IR 신호가 가시 영역인 RGB 신호의 영역으로 유입되기 때문에, RGB 신호 중 어느 하나로 형성되는 이미지의 품질이 저하되는 문제가 있다.
이에, 본 명세서에서는 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정하고, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결하며, 이미지의 블러를 비교하는 과정의 복잡도를 낮추는 기술을 제안한다.
본 발명의 실시예들은 비 정사각 및 비 원 형상의 애퍼처를 이용함으로써, 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정하고, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결하며, 이미지의 블러를 비교하는 과정의 복잡도를 낮추는 이미지의 깊이 추정 방법 및 장치를 제공한다.
구체적으로, 본 발명의 실시예들은 직사각(rectangular) 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치를 제공한다.
또한, 본 발명의 실시예들은 다이아몬드 형상의 애퍼처(diamond-shaped aperture)를 이용하는 이미지의 깊이 추정 방법 및 장치를 제공한다.
또한, 본 발명의 실시예들은 복수의 다이아몬드 형상의 애퍼처들(multiple diamond-shaped apertures)을 이용하는 이미지의 깊이 추정 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 비 정사각(non-square) 및 비 원(non-circle) 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법은 비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득하는 단계; 상기 이미지에서 에지를 검출하는 단계; 상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계; 상기 에지의 픽셀들 각각에서 상기 수평 블러 및 상기 수직 블러 사이의 차이값(disparity)을 계산하는 단계; 및 상기 에지의 픽셀들 각각에 대한 상기 차이값에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계를 포함한다.
상기 비 정사각 및 비 원 형상의 애퍼처는 직사각형(rectangular) 형상의 애퍼처일 수 있다.
상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계는 상기 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러에 대해 에지 방향 보정을 수행하는 단계를 포함할 수 있다.
상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계는 상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러에 대해 픽셀 강도 보정을 수행하는 단계를 더 포함할 수 있다.
상기 이미지에서 에지를 검출하는 단계는 상기 이미지에서 에지를 검출하기 위하여, 고 주파수 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치는 비 정사각 및 비 원 형상의 애퍼처; 상기 비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득하는 이미지 센서; 및 상기 이미지에서 에지를 검출하고, 상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하며, 상기 에지의 픽셀들 각각에서 상기 수평 블러 및 상기 수직 블러 사이의 차이값을 계산함으로써, 상기 에지의 픽셀들 각각에 대한 상기 차이값에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부를 포함한다.
본 발명의 다른 일실시예에 따른 다이아몬드 형상의 애퍼처(diamond-shaped aperture)를 이용하는 이미지의 깊이 추정 방법은 다이아몬드 형상의 애퍼처를 이용하여 이미지를 획득하는 단계; 상기 이미지에서 에지를 검출하는 단계; 상기 에지의 선형 세그먼트(linear segment)에 대한 방향(orientation)을 계산하는 단계; 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하는 단계; 및 상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계를 포함한다.
상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는 상기 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도보다 작은 경우, 상기 에지의 픽셀들 각각의 수직 블러를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계일 수 있다.
상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는 상기 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도보다 큰 경우, 상기 에지의 픽셀들 각각의 수평 블러를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계일 수 있다.
상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는 상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 단계를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치는 다이아몬드 형상의 애퍼처; 상기 다이아몬드 형상의 애퍼처를 이용하여 이미지를 획득하는 이미지 센서; 및 상기 이미지에서 에지를 검출하고, 상기 에지의 선형 세그먼트에 대한 방향을 계산하며, 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하여, 상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용함으로써, 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부를 포함한다.
본 발명의 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(multiple diamond-shaped apertures)을 이용하는 이미지의 깊이 추정 방법은 복수의 다이아몬드 형상의 애퍼처들을 이용하여 복수의 이미지들을 획득하는 단계; 상기 복수의 이미지들에서 에지를 검출하는 단계; 상기 에지의 선형 세그먼트(linear segment)에 대한 방향(orientation)을 계산하는 단계; 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하는 단계; 및 상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-상기 비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계를 포함한다
상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는 상기 비교 결과를 기초로 상기 복수의 이미지들 각각에 대해, 상기 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 단계를 더 포함할 수 있다.
상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도는 상기 복수의 애퍼처들 각각의 다이아몬드 형상에 따라 서로 다르게 형성되고, 상기 복수의 애퍼처들 각각의 다이아몬드 형상은 면적이 서로 동일할 수 있다.
본 발명의 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 장치는 복수의 다이아몬드 형상의 애퍼처들; 상기 복수의 다이아몬드 형상의 애퍼처들을 이용하여 복수의 이미지들을 획득하는 이미지 센서; 및 상기 복수의 이미지들에서 에지를 검출하고, 상기 에지의 선형 세그먼트에 대한 방향을 계산하며, 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하여, 상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-상기 비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부를 포함한다.
본 발명의 실시예들은 비 정사각 및 비 원 형상의 애퍼처를 이용함으로써, 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정하고, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결하며, 이미지의 블러를 비교하는 과정의 복잡도를 낮추는 이미지의 깊이 추정 방법 및 장치를 제공할 수 있다.
구체적으로, 본 발명의 실시예들은 직사각 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치를 제공할 수 있다.
또한, 본 발명의 실시예들은 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치를 제공할 수 있다.
또한, 본 발명의 실시예들은 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 방법 및 장치를 제공할 수 있다.
도 1은 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 나타낸 도면이다.
도 3은 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처에 의해 생성되는 블러를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
도 6은 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 7은 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 나타낸 도면이다.
도 8(a) 및 8(b)는 다른 일실시예에 따른 다이아몬드 형상의 애퍼처에 의해 생성되는 블러를 설명하기 위한 도면이다.
도 9는 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 10은 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
도 11은 또 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 12는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 나타낸 도면이다.
도 13(a) 및 13(b)는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들에 의해 생성되는 블러를 설명하기 위한 도면이다.
도 14는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 15는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 카메라 시스템은 렌즈(110), 비 정사각 및 비 원 형상의 애퍼처(120), 셔터(130), 컬러 필터 어레이(140) 및 이미지 센서(150)를 포함한다. 여기서, 도면에는 도시되지 않았지만, 이미지 센서(150)에는 깊이 추정부가 포함될 수 있다. 그러나, 이에 제한되거나 한정되지 않고, 깊이 추정부는 이미지 센서(150)와 구별되는 독립적인 모듈로 구비될 수도 있다.
셔터(130)는 애퍼처(120)를 통하여 유입되는 광 신호의 광학 노출 시간을 조절하는 모듈이고, 컬러 필터 어레이(140)는 광 신호가 R 신호, G 신호 및 B 신호 별로 이미지 센서(150)로 유입되도록 필터링하는 모듈일 수 있다. 이 때, 셔터(130)는 애퍼처(120)에 내장되어 구비될 수 있고, 컬러 필터 어레이(140)는 이미지 센서(150)에 내장되어 구비될 수 있다. 따라서, 일실시예에 따른 카메라 시스템은 렌즈(110), 비 정사각 및 비 원 형상의 애퍼처(120) 및 이미지 센서(150)로 구성될 수 있다. 이하, 이미지의 깊이 추정 방법을 수행하는 이미지의 깊이 추정 장치는 카메라 시스템에 포함되는 애퍼처(120), 이미지 센서(150) 및 깊이 추정부로 구성되는 것으로 설명한다.
이미지 센서(150)는 비 정사각 및 비 원 형상의 애퍼처(120)를 이용하여 이미지를 획득한다. 따라서, 이미지 센서(150)에 포함되는 깊이 추정부-또는 독립적인 모듈로 구비되는-는 비 정사각 및 비 원 형상의 애퍼처(120)를 이용하여 획득된 이미지에서 이미지의 깊이를 추정한다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 2는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 나타낸 도면이다.
도 2를 참조하면, 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처(210)는 직사각 형상의 애퍼처일 수 있다. 이 때, 애퍼처(210)는 수직으로 긴 직사각 형상 또는 수평으로 긴 직사각 형상 중 어느 하나일 수 있다.
여기서, 애퍼처(210)는 가시 주파수 스펙트럼(visible frequency spectrum)의 광 신호를 유입시킨다. 따라서, 애퍼처(210)를 이용하여 획득되는 이미지는 RGB 신호로 형성되는 RGB 이미지-컬러 이미지-일 수 있다.
애퍼처(210)를 이용하여 네추럴 오브젝트를 촬영한 이미지는 동일한 깊이에서 수평 방향 및 수직 방향으로 상이한 블러(blur)를 갖지 않기 때문에-즉, 네추럴 오브젝트를 촬영한 이미지는 동일한 깊이에서 수평 방향 및 수직 방향으로 유사한 블러를 갖기 때문에-, 일실시예에 따른 이미지의 깊이 추정 장치는 이미지에서의 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 사이의 차이값(disparity)에 따라 깊이를 추정할 수 있다. 예를 들어, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 사이의 차이값이 클수록 더 큰 깊이를 부여하고, 차이값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 에지의 픽셀들 각각에서의 수평 블러 및 수직 블러는 수학식 1과 같은 메트릭스가 이용되어 측정될 수 있다.
수학식 1
Figure PCTKR2015004097-appb-M000001
수학식 1에서, бX는 수평 블러 또는 수직 블러를 의미하고, x는 이미지의 에지의 중심으로부터 가장자리까지의 픽셀 거리를 의미하며, L(x)는 x에서의 강도(intensity)를 의미한다. x의 최대값은 최대 예상 블러(maximum expected blur)로 설정되어야 한다. 또한, 이미지의 에지에서 측정되는 수평 블러 및 수직 블러는 픽셀 단위뿐만 아니라, 복수의 픽셀들이 구성하는 윈도우 단위로도 측정될 수도 있다.
이와 같이 측정된 이미지에서 에지의 픽셀들 각각의 수평 블러 및 수직 블러는 후술되는 이미지의 깊이 추정 과정에서 이용될 수 있다.
도 3은 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처에 의해 생성되는 블러를 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하여 획득되는 이미지(310)에서 에지의 선형 세그먼트(linear segment)에 대한 방향(orientation)이 수직에 가까운 경우, 수직 블러는 수평 블러에 의해 숨겨질 수 있고, 에지의 선형 세그먼트에 대한 방향이 수평에 가까운 경우, 수평 블러는 수직 블러에 의해 숨겨질 수 있다. 따라서, 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러가 에지의 픽셀들 각각의 실제 수평 블러 및 수직 블러와 상이할 수 있다.
이에, 일실시예에 따른 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러에 대해 다음과 같은 에지 방향 보정을 수행함으로써, 깊이 추정 과정에서 실제 수평 블러 및 수직 블러를 이용할 수 있다.
비 정사각 및 비 원 형상의 애퍼처를 이용하여 획득되는 이미지(310)에서 삼각형 ΔACD는 수학식 2와 같이 표현된다.
[수학식 2]
(Bh-bh)tanθ=by
수학식 2에서, Bh는 관측되는 수평 블러를 의미하고, bh는 숨겨진 수평 블러를 의미하며, θ는 에지의 선형 세그먼트에 대한 방향에 따른 라인이 수평축과 형성하는 각도를 의미하고, by는 에지의 픽셀들 각각의 실제 수직 블러를 의미한다.
또한, 비 정사각 및 비 원 형상의 애퍼처를 이용하여 획득되는 이미지(310)에서 삼각형 ΔABC는 수학식 3과 같이 표현된다.
[수학식 3]
bXtanφ=by
수학식 3에서, bX는 에지의 픽셀들 각각의 실제 수평 블러를 의미하고, φ는 비 정사각 및 비 원 형상의 애퍼처를 이용하여 획득되는 이미지(310)의 중심점으로부터 가장자리 꼭지점 A까지의 라인과 수평축이 형성하는 각도를 의미한다.
수학식 2 및 3으로부터 수학식 4 및 5가 도출된다.
[수학식 4]
bX=tanθ/(tanθ+tanφ)BX
[수학식 5]
by=tanφ/(tanθ+tanφ)By
수학식 5에서, By는 관측되는 수직 블러를 의미한다.
따라서, 이미지의 깊이 추정 장치는 수학식 4 및 5를 기초로 하는 에지 방향 보정을 수행함으로써, 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러로부터 에지의 픽셀들 각각의 실제 수평 블러 및 수직 블러를 획득할 수 있다.
또한, 에지의 픽셀들 각각의 수평 블러 및 수직 블러는 픽셀의 강도에 영향을 받기 때문에, 이미지의 깊이 추정 장치는 추가적으로, 에지의 픽셀들 각각의 수평 블러 및 수직 블러에 대해 픽셀 강도 보정을 수행할 수도 있다. 예를 들어, 이미지의 깊이 추정 장치는 다른 컬러들에 대한 블러의 변화를 미리 테이블로 구축한 후, 미리 구축된 테이블을 이용하여 컬러에 대한 보정인 픽셀 강도 보정을 수행할 수 있다.
도 4는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 이미지의 깊이 추정 장치는 비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득한다(410). 이 때, 비 정사각 및 비 원 형상의 애퍼처로 직사각 형상의 애퍼처가 이용될 수 있다. 직사각 형상의 애퍼처는 수직으로 긴 직사각 형상 또는 수평으로 긴 직사각 형상 중 어느 하나일 수 있다.
이어서, 이미지의 깊이 추정 장치는 이미지에서 에지를 검출한다(420). 여기서, 이미지의 깊이 추정 장치는 에지를 검출하기 위하여, 고 주파수 필터링을 수행할 수 있다.
그 다음, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정한다(430). 예를 들어, 이미지의 깊이 추정 장치는 수학식 1을 이용하여 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정할 수 있다.
또한, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 과정에서, 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러에 대해 위에서 상술한 에지 방향 보정을 수행할 수 있다. 또한, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수평 블러 및 수직 블러에 대해 픽셀 강도 보정을 수행할 수도 있다. 따라서, 후술되는 과정에서, 에지의 픽셀들 각각의 실제 수평 블러 및 수직 블러가 이용될 수 있다.
그 다음, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 사이의 차이값을 계산한다(440).
그 후, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에 대한 차이값에 기초하여 에지의 픽셀들 각각의 깊이를 추정한다(450). 예를 들어, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 차이값이 클수록 더 큰 깊이를 부여할 수 있고, 차이값이 작을수록 더 작은 깊이를 부여할 수 있다.
이와 같이, 일실시예에 따른 이미지의 깊이 추정 장치에 의해 수행되는 이미지의 깊이 추정 방법은 비 정사각 및 비 원 형상의 단일 애퍼처를 이용함으로써, 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정할 수 있고, 컬러 이미지만을 사용함으로써, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결할 수 있다. 또한, 이미지의 깊이 추정 장치는 단일 애퍼처로 획득된 하나의 이미지에서 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 비교하기 때문에, 블러를 비교하는 과정의 복잡도를 기존의 두 개의 이미지들에서 블러를 비교하는 과정보다 낮출 수 있다.
도 5는 일실시예에 따른 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 이미지의 깊이 추정 장치는 비 정사각 및 비 원 형상의 애퍼처(510), 이미지 센서(520) 및 깊이 추정부(530)를 포함한다. 이하, 깊이 추정부(530)가 이미지 센서(520)와 구별되는 독립적인 모듈로 구비되는 것으로 설명하지만, 이에 제한되거나 한정되지 않고, 깊이 추정부(530)는 이미지 센서(520)에 내장되어 구비될 수도 있다.
비 정사각 및 비 원 형상의 애퍼처(510)는 직사각 형상의 애퍼처일 수 있다. 이 때, 직사각 형상의 애퍼처는 수직으로 긴 직사각 형상 또는 수평으로 긴 직사각 형상일 수 있다.
이미지 센서(520)는 비 정사각 및 비 원 형상의 애퍼처(510)를 이용하여 이미지를 획득한다.
깊이 추정부(530)는 이미지에서 에지를 검출하고, 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하며, 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 사이의 차이값을 계산함으로써, 에지의 픽셀들 각각에 대한 차이값에 기초하여 에지의 픽셀들 각각의 깊이를 추정한다. 예를 들어, 깊이 추정부(530)는 에지의 픽셀들 각각에서 차이값이 클수록 더 큰 깊이를 부여할 수 있고, 차이값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 깊이 추정부(530)는 에지를 검출하기 위하여, 고 주파수 필터링을 수행할 수 있다.
또한, 깊이 추정부(530)는 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 과정에서, 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러에 대해 위에서 상술한 에지 방향 보정을 수행할 수 있다.
또한, 깊이 추정부(530)는 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 과정에서, 에지의 픽셀들 각각의 수평 블러 및 수직 블러에 대해 픽셀 강도 보정을 수행할 수도 있다.
도 6은 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 6을 참조하면, 다른 일실시예에 따른 카메라 시스템은 렌즈(510), 다이아몬드 형상의 애퍼처(620), 셔터(630), 컬러 필터 어레이(640) 및 이미지 센서(650)를 포함한다. 여기서, 도면에는 도시되지 않았지만, 이미지 센서(650)에는 깊이 추정부가 포함될 수 있다. 그러나, 이에 제한되거나 한정되지 않고, 깊이 추정부는 이미지 센서(650)와 구별되는 독립적인 모듈로 구비될 수도 있다.
셔터(630)는 애퍼처(620)를 통하여 유입되는 광 신호의 광학 노출 시간을 조절하는 모듈이고, 컬러 필터 어레이(640)는 광 신호가 R 신호, G 신호 및 B 신호 별로 이미지 센서(650)로 유입되도록 필터링하는 모듈일 수 있다. 이 때, 셔터(630)는 애퍼처(620)에 내장되어 구비될 수 있고, 컬러 필터 어레이(640)는 이미지 센서(650)에 내장되어 구비될 수 있다. 따라서, 다른 일실시예에 따른 카메라 시스템은 렌즈(610), 다이아몬드 형상의 애퍼처(620) 및 이미지 센서(650)로 구성될 수 있다. 이하, 이미지의 깊이 추정 방법을 수행하는 이미지의 깊이 추정 장치는 카메라 시스템에 포함되는 애퍼처(620), 이미지 센서(650) 및 깊이 추정부로 구성되는 것으로 설명한다.
이미지 센서(650)는 다이아몬드 형상의 애퍼처(620)를 이용하여 이미지를 획득한다. 따라서, 이미지 센서(650)에 포함되는 깊이 추정부-또는 독립적인 모듈로 구비되는-는 다이아몬드 형상의 애퍼처(620)를 이용하여 획득된 이미지에서 이미지의 깊이를 추정한다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 7은 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 나타낸 도면이다.
도 7을 참조하면, 다른 일실시예에 따른 다이아몬드 형상의 애퍼처(710)는 가시 주파수 스펙트럼의 광 신호를 유입시킨다. 따라서, 애퍼처(710)를 이용하여 획득되는 이미지는 RGB 신호로 형성되는 RGB 이미지-컬러 이미지-일 수 있다.
애퍼처(710)를 이용하여 획득되는 이미지는 도 3에 도시된 직사각 형상의 애퍼처를 이용하여 획득되는 이미지와 달리, 픽셀들 각각의 수직 방향 또는 수평 방향 중 어느 하나로 최대 블러를 생성할 수 있다(직사각 형상의 애퍼처를 이용하여 획득되는 이미지는 대각 방향으로 최대 블러를 생성함). 따라서, 애퍼처(710)를 이용하여 획득되는 이미지에서 에지의 선형 세그먼트에 대한 방향이 특정 범주 내에 포함되는 경우(에지의 선형 세그먼트에 대한 방향의 각도가 특정 각도 내에 포함되는 경우), 다른 일실시예에 따른 이미지의 깊이 추정 장치는 이미지에서의 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 사이의 차이값에 따라 깊이를 추정하는 과정에서, 수평 블러 또는 수직 블러 중 어느 하나의 값을 무시할 수 있기 때문에, 이미지에서의 에지의 픽셀들 각각의 수평 블러 및 수직 블러 중 어느 하나만을 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 예를 들어, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수평 블러 또는 수직 블러 중 어느 하나에 기초하여 깊이를 부여할 수 있다. 더 구체적인 예를 들면, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수평 블러 또는 수직 블러 중 어느 하나의 값이 클수록 더 큰 깊이를 부여하고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 에지의 픽셀들 각각에서의 수평 블러 및 수직 블러는 위에서 상술한 수학식 1을 이용하여 측정될 수 있다.
도 8(a) 및 8(b)는 다른 일실시예에 따른 다이아몬드 형상의 애퍼처에 의해 생성되는 블러를 설명하기 위한 도면이다.
도 8(a)를 참조하면, 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하여 획득되는 이미지(810)에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도인 α보다 큰 (a)의 경우(θ가 π/2보다는 작은 경우), 수직 블러는 수평 블러에 의해 숨겨질 수 있고, 수평 블러는 θ와 무관하며, 수평 디멘션에서의 애퍼처 사이즈에 따라 좌우된다. 또한, 도 8(b)를 참조하면, 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도인 α보다 작은 (b)의 경우, 수평 블러는 수직 블러에 의해 숨겨질 수 있고, 수직 블러는 θ와 무관하며, 수직 디멘션에서의 애퍼처 사이즈에 따라 좌우된다.
따라서, 다이아몬드 형상의 애퍼처를 이용하여 획득되는 이미지(810)에서 (a) 경우, 에지의 픽셀들 각각에서 관측되는 수직 블러는 실제 수직 블러보다 크고 에지의 픽셀들 각각에서 관측되는 수평 블러는 실제 수평 블러와 동일하며, (b)의 경우, 에지의 픽셀들 각각에서 관측되는 수직 블러는 실제 수직 블러와 동일하고 에지의 픽셀들 각각에서 관측되는 수평 블러는 실제 수평 블러보다 크다.
이에, 다른 일실시예에 따른 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 관측되는 수직 블러 또는 수평 블러로부터 실제 수직 블러 또는 수평 블러를 계산하는 과정을 생략하기 위하여 에지의 선형 세그먼트에 대한 방향의 각도-에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ-를 기초로, 에지의 픽셀들 각각에 대해 수직 블러 또는 수평 블러 중 어느 하나를 선택하여 비교함으로써, 에지의 픽셀들 각각의 깊이를 추정할 수 있다.
예를 들어, 이미지의 깊이 추정 장치는 (a) 경우, 에지의 픽셀들 각각의 수평 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있고, (b)의 경우, 에지의 픽셀들 각각의 수직 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다.
도 9는 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 9를 참조하면, 다른 일실시예에 따른 이미지의 깊이 추정 장치는 다이아몬드 형상의 애퍼처를 이용하여 이미지를 획득한다(910).
이어서, 이미지의 깊이 추정 장치는 이미지에서 에지를 검출한다(920). 여기서, 이미지의 깊이 추정 장치는 에지를 검출하기 위하여, 고 주파수 필터링을 수행할 수 있다.
그 다음, 이미지의 깊이 추정 장치는 에지의 선형 세그먼트에 대한 방향을 계산한다(930). 예를 들어, 이미지의 깊이 추정 장치는 소벨 필터링(Sobel filtering)과 같은 스키마를 이용하여 에지의 선형 세그먼트에 대한 방향을 계산할 수 있다.
그 다음, 이미지의 깊이 추정 장치는 계산된 방향에 따른 라인 및 수평축 사이의 각도를 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도와 비교한다(940).
그 후, 이미지의 깊이 추정 장치는 비교 결과를 기초로 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 에지의 픽셀들 각각의 깊이를 추정한다(950).
예를 들어, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 작은 경우, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수직 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 더 구체적인 예를 들면, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수직 블러의 값이 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
반면에, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 큰 경우, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수평 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 더 구체적인 예를 들면, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각에서 수평 블러의 값이 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 이미지의 깊이 추정 장치는 비교 결과를 기초로 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 에지의 픽셀들 각각의 깊이를 추정하기 이전에, 비교 결과를 기초로 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정할 수 있다. 예를 들어, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 작은 경우, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수직 블러를 수학식 1을 이용하여 측정할 수 있다. 반면에, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 큰 경우, 이미지의 깊이 추정 장치는 에지의 픽셀들 각각의 수평 블러를 수학식 1을 이용하여 측정할 수 있다.
이와 같이, 다른 일실시예에 따른 이미지의 깊이 추정 장치에 의해 수행되는 이미지의 깊이 추정 방법은 다이아몬드 형상의 단일 애퍼처를 이용함으로써, 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정할 수 있고, 컬러 이미지만을 사용함으로써, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결할 수 있다. 또한, 이미지의 깊이 추정 장치는 단일 애퍼처로 획득된 하나의 이미지에서의 에지의 픽셀들 각각에서 수평 블러 또는 수직 블러 중 어느 하나를 비교하기 때문에, 블러를 비교하는 과정의 복잡도를 기존의 두 개의 이미지들에서 블러를 비교하는 과정보다 낮출 수 있고, 에지의 픽셀들 각각에서 수평 블러 또는 수직 블러 중 어느 하나만을 계산하기 때문에, 에지의 픽셀들 각각에서 수평 블러 및 수직 블러 둘 다 계산하는 것보다 복잡도를 낮출 수 있다.
도 10은 다른 일실시예에 따른 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
도 10을 참조하면, 다른 일실시예에 따른 이미지의 깊이 추정 장치는 다이아몬드 형상의 애퍼처(1010), 이미지 센서(1020) 및 깊이 추정부(1030)를 포함한다. 이하, 깊이 추정부(1030)가 이미지 센서(1020)와 구별되는 독립적인 모듈로 구비되는 것으로 설명하지만, 이에 제한되거나 한정되지 않고, 깊이 추정부(1030)는 이미지 센서(1020)에 내장되어 구비될 수도 있다.
이미지 센서(1020)는 다이아몬드 형상의 애퍼처(1010)를 이용하여 이미지를 획득한다.
깊이 추정부(1030)는 이미지에서 에지를 검출하고, 에지의 선형 세그먼트에 대한 방향을 계산하며, 계산된 방향에 따른 라인 및 수평축 사이의 각도를 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도와 비교하여, 비교 결과를 기초로 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용함으로써, 에지의 픽셀들 각각의 깊이를 추정한다.
예를 들어, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 작은 경우, 깊이 추정부(1030)는 에지의 픽셀들 각각의 수직 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 더 구체적인 예를 들면, 깊이 추정부(1030)는 에지의 픽셀들 각각에서 수직 블러의 값이 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
반면에, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 큰 경우, 깊이 추정부(1030)는 에지의 픽셀들 각각의 수평 블러를 이용하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 더 구체적인 예를 들면, 깊이 추정부(1030)는 에지의 픽셀들 각각에서 수평 블러의 값이 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 깊이 추정부(1030)는 에지를 검출하기 위하여 고 주파수 필터링을 수행할 수 있고, 소벨 필터링과 같은 스키마를 이용하여 에지의 선형 세그먼트에 대한 방향을 계산할 수 있다.
또한, 깊이 추정부(1030)는 비교 결과를 기초로 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 에지의 픽셀들 각각의 깊이를 추정하기 이전에, 비교 결과를 기초로 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정할 수 있다. 예를 들어, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 작은 경우, 깊이 추정부(1030)는 에지의 픽셀들 각각의 수직 블러를 측정할 수 있다. 반면에, 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도보다 큰 경우, 깊이 추정부(1030)는 에지의 픽셀들 각각의 수평 블러를 측정할 수 있다.
도 11은 또 다른 일실시예에 따른 카메라 시스템을 나타낸 도면이다.
도 11을 참조하면, 또 다른 일실시예에 따른 카메라 시스템은 렌즈(1110), 복수의 다이아몬드 형상의 애퍼처들(1120), 셔터(1130), 컬러 필터 어레이(1140) 및 이미지 센서(1150)를 포함한다. 여기서, 도면에는 도시되지 않았지만, 이미지 센서(1150)에는 깊이 추정부가 포함될 수 있다. 그러나, 이에 제한되거나 한정되지 않고, 깊이 추정부는 이미지 센서(1150)와 구별되는 독립적인 모듈로 구비될 수도 있다.
셔터(1130)는 애퍼처들(1120)을 통하여 유입되는 광 신호의 광학 노출 시간을 조절하는 모듈이고, 컬러 필터 어레이(1140)는 광 신호가 R 신호, G 신호 및 B 신호 별로 이미지 센서(1150)로 유입되도록 필터링하는 모듈일 수 있다. 이 때, 셔터(1130)는 애퍼처들(1120)에 내장되어 구비될 수 있고, 컬러 필터 어레이(1140)는 이미지 센서(1150)에 내장되어 구비될 수 있다. 따라서, 또 다른 일실시예에 따른 카메라 시스템은 렌즈(1110), 복수의 다이아몬드 형상의 애퍼처들(1120) 및 이미지 센서(1150)로 구성될 수 있다. 이하, 이미지의 깊이 추정 방법을 수행하는 이미지의 깊이 추정 장치는 카메라 시스템에 포함되는 애퍼처들(1120), 이미지 센서(1150) 및 깊이 추정부로 구성되는 것으로 설명한다.
이미지 센서(1150)는 복수의 다이아몬드 형상의 애퍼처들(1120)을 이용하여 복수의 이미지들을 획득한다. 따라서, 이미지 센서(1150)에 포함되는 깊이 추정부-또는 독립적인 모듈로 구비되는-는 복수의 다이아몬드 형상의 애퍼처들(1120)을 이용하여 획득된 복수의 이미지들에서 이미지들의 깊이를 추정한다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 12는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 나타낸 도면이다.
도 12를 참조하면, 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(1210) 각각은 가시 주파수 스펙트럼의 광 신호를 유입시킨다. 따라서, 복수의 애퍼처들(1210)을 이용하여 획득되는 복수의 이미지들은 RGB 신호로 형성되는 RGB 이미지-컬러 이미지-일 수 있다. 예를 들어, 제1 애퍼처(1211)를 이용하여 획득되는 이미지는 R 신호로 형성되는 R 이미지일 수 있고, 제2 애퍼처(1212)를 이용하여 획득되는 이미지는 GB 신호로 형성되는 GB 이미지일 수 있다.
이 때, 복수의 애퍼처들(1210)은 다이아몬드의 형상이 서로 다르지만, 광 신호를 유입시키는 영역은 동일할 수 있다. 예를 들어, 복수의 애퍼처들(1210) 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도는 서로 다르게 형성되더라도, 광 신호를 유입시키는 다이아몬드 형상의 면적은 동일할 수 있다.
복수의 애퍼처들(1210)를 이용하여 획득되는 복수의 이미지들은 도 3에 도시된 직사각 형상의 애퍼처를 이용하여 획득되는 이미지와 달리, 도 7에 도시된 다이아몬드 형상의 애퍼처를 이용하여 획득되는 이미지와 같이 픽셀들 각각의 수직 방향 또는 수평 방향 중 어느 하나로 최대 블러를 생성할 수 있다. 따라서, 복수의 애퍼처들 (1210)을 이용하여 획득되는 복수의 이미지들에서 깊이를 추정하는 또 다른 일실시예에 따른 이미지의 깊이 추정 장치는 도 7에 기재된 다이아몬드 형상의 단일 애퍼처를 이용하는 이미지의 깊이 추정 장치와 유사하게, 복수의 애퍼처들(1210)을 이용하여 획득되는 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향이 특정 범주 내에 포함되는 경우(에지의 선형 세그먼트에 대한 방향의 각도가 특정 각도 내에 포함되는 경우), 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 예를 들어, 이미지의 깊이 추정 장치는 복수의 이미지들 사이에서 에지의 픽셀들 각각에서 수평 블러 또는 수직 블러 중 어느 하나의 차이가 클수록 더 큰 깊이를 부여하고, 차이가 작을수록 더 작은 깊이를 부여할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 13(a) 및 13(b)는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들에 의해 생성되는 블러를 설명하기 위한 도면이다.
이하, 도 13(a)의 경우, 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(1310)은 두 개의 다이아몬드 형상의 애퍼처들로 설명되고, 도 13(b)의 경우, 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(1320)은 세 개의 다이아몬드 형상의 애퍼처들로 설명된다. 예를 들어, 도 13(a)의 경우, 제1 애퍼처(1311)를 이용하여 획득되는 이미지는 R 신호로 형성되는 R 이미지일 수 있고, 제2 애퍼처(1312)를 이용하여 획득되는 이미지는 GB 신호로 형성되는 GB 이미지일 수 있다. 또한, 도 13(b)의 경우, 제1 애퍼처(1321)를 이용하여 획득되는 이미지는 R 신호로 형성되는 R 이미지일 수 있고, 제2 애퍼처(1322)를 이용하여 획득되는 이미지는 G 신호로 형성되는 G 이미지일 수 있으며, 제3 애퍼처(1323)를 이용하여 획득되는 이미지는 B 신호로 형성되는 B 이미지일 수 있다.
도 13(a)를 참조하면, 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(1310) 중 제1 애퍼처(1311)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α는 제2 애퍼처(1312)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β보다 작은 각도로 형성된다.
이러한 경우, 에지의 픽셀들 각각에서 실제 블러와 동일한 관측되는 블러에 따른, 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ와 제1 애퍼처(1311)의 각도 α 및 제2 애퍼처(1312)의 각도 β 사이의 관계는 표 1과 같다.
표 1
관측되는 블러 제1 애퍼처 제2 애퍼처
수직 블러 θ<α θ<β
수평 블러 α<θ<π/2 β<θ<π/2
따라서, 표 1로부터 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ에 따라, 이미지의 깊이 추정 장치가 복수의 이미지들 사이에서 비교할 에지의 픽셀들 각각의 블러의 방향(에지의 픽셀들 각각에서 관측되는 블러와 실제 블러가 동일한 방향)은 표 2와 같이 나타날 수 있다.
표 2
에지의 방향 각도 제1 애퍼처의 블러 방향 제2 애퍼처의 블러 방향
θ<α 수직 블러 수직 블러
α<θ<β 수평 블러 수직 블러
β<θ<π/2 수평 블러 수평 블러
즉, 또 다른 일실시예에 따른 이미지의 깊이 추정 장치는 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ를 제1 애퍼처(1311)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α 및 제2 애퍼처(1312)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β와 비교함으로써, 제1 애퍼처(1311) 및 제2 애퍼처(1312) 각각을 이용하여 획득되는 제1 이미지 및 제2 이미지 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다.
예를 들어, 이미지의 깊이 추정 장치는 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 제1 애퍼처(1311)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α보다 작은 경우, 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수직 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이를 계산함으로써, 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수직 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 이 때, 이미지의 깊이 추정 장치는 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수직 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이가 클수록 더 큰 깊이를 부여할 수 있고, 차이가 작을수록 더 작은 깊이를 부여할 수 있다.
다른 예를 들면, 이미지의 깊이 추정 장치는 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 제1 애퍼처(1311)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α보다 크고, 제2 애퍼처(1312)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β보다 작은 경우, 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이를 계산함으로써, 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 이 때, 이미지의 깊이 추정 장치는 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러 사이의 차이가 클수록 더 큰 깊이를 부여할 수 있고, 차이가 작을수록 더 작은 깊이를 부여할 수 있다.
또 다른 예를 들면, 이미지의 깊이 추정 장치는 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 제2 애퍼처(1312)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β보다 큰 경우(θ가 π/2보다는 작은 경우), 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수평 블러 사이의 차이를 계산함으로써, 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수평 블러 사이의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다. 이 때, 이미지의 깊이 추정 장치는 제1 애퍼처(1311)를 이용하여 획득되는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 애퍼처(1312)를 이용하여 획득되는 제2 이미지에서 에지의 픽셀들 각각의 수평 블러 사이의 차이가 클수록 더 큰 깊이를 부여할 수 있고, 차이가 작을수록 더 작은 깊이를 부여할 수 있다.
도 13(b)를 참조하면, 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들(1320) 중 제1 애퍼처(1321)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α, 제2 애퍼처(1322)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β 및 제3 애퍼처(1323)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 γ의 크기는 α<β<γ의 관계를 갖는다.
이러한 경우, 에지의 픽셀들 각각에서 실제 블러와 동일한 관측되는 블러에 따른, 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ와 제1 애퍼처(1321)의 각도 α, 제2 애퍼처(1322)의 각도 β 및 제3 애퍼처(1323)의 각도 γ 사이의 관계는 표 3과 같다.
표 3
관측되는 블러 제1 애퍼처 제2 애퍼처 제3 애퍼처
수직 블러 θ<α θ<β θ<γ
수평 블러 α<θ<π/2 β<θ<π/2 γ<θ<π/2
따라서, 표 3로부터 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ에 따라, 이미지의 깊이 추정 장치가 복수의 이미지들 사이에서 비교할 에지의 픽셀들 각각의 블러의 방향(에지의 픽셀들 각각에서 관측되는 블러와 실제 블러가 동일한 방향)은 표 4와 같이 나타날 수 있다.
표 4
에지의 방향 각도 제1 애퍼처의 블러 방향 제2 애퍼처의 블러 방향 제3 애퍼처의 블러 방향러
θ<α 수직 블러 수직 블러 수직 블러
α<θ<β 수평 블러 수직 블러 수직 블러
β<θ<γ 수평 블러 수평 블러 수직 블러
γ<θ<π/2 수평 블러 수평 블러 수평 블러
즉, 또 다른 일실시예에 따른 이미지의 깊이 추정 장치는 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ를 제1 애퍼처(1321)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 α, 제2 애퍼처(1322)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 β 및 제3 애퍼처(1323)의 다이아몬드 형상에 포함되는 어느 한 변과 수평축 사이의 각도인 γ와 비교함으로써, 제1 애퍼처(1321), 제2 애퍼처(1322) 및 제3 애퍼처(1323) 각각을 이용하여 획득되는 제1 이미지, 제2 이미지 및 제3 이미지 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정할 수 있다.
특히, 이미지의 깊이 추정 장치는 제1 애퍼처(1321)를 이용하여 획득되는 제1 이미지, 제2 애퍼처(1322)를 이용하여 획득되는 제2 이미지 및 제3 애퍼처(1323)를 이용하여 획득되는 제3 이미지 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이를 일일이 계산하는 대신에, 제1 이미지 및 제2 이미지 사이, 제2 이미지 및 제3 이미지 사이 또는 제1 이미지 및 제3 이미지 사이에서 에지의 픽셀들 각각의 수직 블러 및 수평 블러 중 어느 하나의 차이만을 선택적으로 계산할 수 있다. 예를 들어, 이미지의 깊이 추정 장치는 제1 이미지 및 제2 이미지 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이만을 계산할 수 있다.
또한, 이미지 깊이 추정 장치는 제1 이미지, 제2 이미지 또는 제3 이미지 중 두 개의 이미지들에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 계산하는 과정을 보다 단순화 하기 위하여, 제1 이미지, 제2 이미지 또는 제3 이미지 중 두 개의 이미지들에서 에지의 픽셀들 각각의 방향을 통일하여 계산할 수 있다. 예를 들어, 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 α 및 β 사이인 경우, 이미지 깊이 추정 장치는 제2 이미지에서 에지의 픽셀들 각각의 수직 블러와 제3 이미지에서 에지의 픽셀들 각각의 수직 블러를 계산한 후, 차이를 비교할 수 있다. 다른 예를 들면, 복수의 이미지들에서 에지의 선형 세그먼트에 대한 방향에 따른 라인 및 수평축 사이의 각도인 θ가 β 및 γ 사이인 경우, 이미지 깊이 추정 장치는 제1 이미지에서 에지의 픽셀들 각각의 수평 블러와 제2 이미지에서 에지의 픽셀들 각각의 수평 블러를 계산한 후, 차이를 비교할 수 있다.
도 14는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 방법을 나타낸 플로우 차트이다.
도 14를 참조하면, 또 다른 일실시예에 따른 이미지의 깊이 추정 장치는 복수의 다이아몬드 형상의 애퍼처들을 이용하여 복수의 이미지들을 획득한다(1410).
이어서, 이미지의 깊이 추정 장치는 복수의 이미지들에서 에지를 검출한다(1420). 여기서, 이미지의 깊이 추정 장치는 에지를 검출하기 위하여, 고 주파수 필터링을 수행할 수 있다.
그 다음, 이미지의 깊이 추정 장치는 에지의 선형 세그먼트에 대한 방향을 계산한다(1430). 예를 들어, 이미지의 깊이 추정 장치는 소벨 필터링과 같은 스키마를 이용하여 에지의 선형 세그먼트에 대한 방향을 계산할 수 있다.
그 다음, 이미지의 깊이 추정 장치는 계산된 방향에 따른 라인 및 수평축 사이의 각도를 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도와 비교한다(1440).
그 후, 이미지의 깊이 추정 장치는 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정한다(1450).
예를 들어, 이미지의 깊이 추정 장치는 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이가 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 이미지의 깊이 추정 장치는 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정하기 이전에, 비교 결과를 기초로 복수의 이미지들에서 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 수학식 1을 이용하여 측정할 수 있다. 특히, 이미지의 깊이 추정 장치는 복수의 이미지들 모두에서 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 대신에, 복수의 이미지들 중 두 개의 이미지들을 선택하여, 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정할 수 있다.
이와 같이, 또 다른 일실시예에 따른 이미지의 깊이 추정 장치에 의해 수행되는 이미지의 깊이 추정 방법은 다이아몬드 형상의 면적이 동일한 복수의 애퍼처들을 이용함으로써, 애퍼처에 대한 최적의 광학 노출 시간을 용이하게 결정할 수 있고, 컬러 이미지만을 사용함으로써, IR 신호의 유입으로 인한 이미지의 품질이 저하되는 문제를 해결할 수 있다. 또한, 이미지의 깊이 추정 장치는 복수의 이미지들 중 동일한 방향의 비교 대상이 되는 블러를 갖는 두 개의 이미지들을 선택하여, 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정한 후, 비교하기 때문에, 기존의 두 개의 이미지들에서 서로 다른 방향의 블러를 비교하는 과정보다 복잡도를 낮출 수 있다.
도 15는 또 다른 일실시예에 따른 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 장치를 나타낸 블록도이다.
도 15를 참조하면, 또 다른 일실시예에 따른 이미지의 깊이 추정 장치는 복수의 다이아몬드 형상의 애퍼처들(1510), 이미지 센서(1520) 및 깊이 추정부(1530)를 포함한다. 이하, 깊이 추정부(1530)가 이미지 센서(1520)와 구별되는 독립적인 모듈로 구비되는 것으로 설명하지만, 이에 제한되거나 한정되지 않고, 깊이 추정부(1530)는 이미지 센서(1520)에 내장되어 구비될 수도 있다.
이미지 센서(1520)는 복수의 다이아몬드 형상의 애퍼처들(1510)을 이용하여 복수의 이미지들을 획득한다.
깊이 추정부(1530)는 복수의 이미지들에서 에지를 검출하고, 에지의 선형 세그먼트에 대한 방향을 계산하며, 계산된 방향에 따른 라인 및 수평축 사이의 각도를 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 수평축 사이의 각도와 비교하여, 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정한다.
예를 들어, 깊이 추정부(1530)는 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이가 클수록 더 큰 깊이를 부여할 수 있고, 값이 작을수록 더 작은 깊이를 부여할 수 있다.
이 때, 깊이 추정부(1530)는 에지를 검출하기 위하여 고 주파수 필터링을 수행할 수 있고, 소벨 필터링과 같은 스키마를 이용하여 에지의 선형 세그먼트에 대한 방향을 계산할 수 있다.
또한, 깊이 추정부(1530)는 복수의 이미지들 사이에서 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 에지의 픽셀들 각각의 깊이를 추정하기 이전에, 비교 결과를 기초로 복수의 이미지들에서 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정할 수 있다. 특히, 깊이 추정부(1530)는 복수의 이미지들 모두에서 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 대신에, 복수의 이미지들 중 두 개의 이미지들을 선택하여, 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 비 정사각(non-square) 및 비 원(non-circle) 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법에 있어서,
    비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득하는 단계;
    상기 이미지에서 에지를 검출하는 단계;
    상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계;
    상기 에지의 픽셀들 각각에서 상기 수평 블러 및 상기 수직 블러 사이의 차이값(disparity)을 계산하는 단계; 및
    상기 에지의 픽셀들 각각에 대한 상기 차이값에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계
    를 포함하는 이미지의 깊이 추정 방법.
  2. 제1항에 있어서,
    상기 비 정사각 및 비 원 형상의 애퍼처는
    직사각형(rectangular) 형상의 애퍼처인, 이미지의 깊이 추정 방법.
  3. 제1항에 있어서,
    상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계는
    상기 에지의 픽셀들 각각에서 관측되는 수평 블러 및 수직 블러에 대해 에지 방향 보정을 수행하는 단계
    를 포함하는 이미지의 깊이 추정 방법.
  4. 제1항에 있어서,
    상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하는 단계는
    상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러에 대해 픽셀 강도 보정을 수행하는 단계
    를 더 포함하는 이미지의 깊이 추정 방법.
  5. 제1항에 있어서,
    상기 이미지에서 에지를 검출하는 단계는
    상기 이미지에서 에지를 검출하기 위하여, 고 주파수 필터링을 수행하는 단계
    를 포함하는 이미지의 깊이 추정 방법.
  6. 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치에 있어서,
    비 정사각 및 비 원 형상의 애퍼처;
    상기 비 정사각 및 비 원 형상의 애퍼처를 이용하여 이미지를 획득하는 이미지 센서; 및
    상기 이미지에서 에지를 검출하고, 상기 에지의 픽셀들 각각의 수평 블러 및 수직 블러를 측정하며, 상기 에지의 픽셀들 각각에서 상기 수평 블러 및 상기 수직 블러 사이의 차이값을 계산함으로써, 상기 에지의 픽셀들 각각에 대한 상기 차이값에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부
    를 포함하는 이미지의 깊이 추정 장치.
  7. 다이아몬드 형상의 애퍼처(diamond-shaped aperture)를 이용하는 이미지의 깊이 추정 방법에 있어서,
    다이아몬드 형상의 애퍼처를 이용하여 이미지를 획득하는 단계;
    상기 이미지에서 에지를 검출하는 단계;
    상기 에지의 선형 세그먼트(linear segment)에 대한 방향(orientation)을 계산하는 단계;
    상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하는 단계; 및
    상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계
    를 포함하는 이미지의 깊이 추정 방법.
  8. 제7항에 있어서,
    상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는
    상기 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도보다 작은 경우, 상기 에지의 픽셀들 각각의 수직 블러를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계인, 이미지의 깊이 추정 방법.
  9. 제7항에 있어서,
    상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는
    상기 계산된 에지의 방향에 따른 라인 및 수평축 사이의 각도가 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도보다 큰 경우, 상기 에지의 픽셀들 각각의 수평 블러를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계인, 이미지의 깊이 추정 방법.
  10. 제7항에 있어서,
    상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는
    상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 단계
    를 더 포함하는 이미지의 깊이 추정 방법.
  11. 다이아몬드 형상의 애퍼처를 이용하는 이미지의 깊이 추정 장치에 있어서,
    다이아몬드 형상의 애퍼처;
    상기 다이아몬드 형상의 애퍼처를 이용하여 이미지를 획득하는 이미지 센서; 및
    상기 이미지에서 에지를 검출하고, 상기 에지의 선형 세그먼트에 대한 방향을 계산하며, 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 애퍼처의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하여, 상기 비교 결과를 기초로 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나를 이용함으로써, 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부
    를 포함하는 이미지의 깊이 추정 장치.
  12. 복수의 다이아몬드 형상의 애퍼처들(multiple diamond-shaped apertures)을 이용하는 이미지의 깊이 추정 방법에 있어서,
    복수의 다이아몬드 형상의 애퍼처들을 이용하여 복수의 이미지들을 획득하는 단계;
    상기 복수의 이미지들에서 에지를 검출하는 단계;
    상기 에지의 선형 세그먼트(linear segment)에 대한 방향(orientation)을 계산하는 단계;
    상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하는 단계; 및
    상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-상기 비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계
    를 포함하는 이미지의 깊이 추정 방법.
  13. 제12항에 있어서,
    상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 단계는
    상기 비교 결과를 기초로 상기 복수의 이미지들 각각에 대해, 상기 에지의 픽셀들 각각의 수평 블러 또는 수직 블러 중 어느 하나를 측정하는 단계
    를 더 포함하는 이미지의 깊이 추정 방법.
  14. 제12항에 있어서,
    상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도는
    상기 복수의 애퍼처들 각각의 다이아몬드 형상에 따라 서로 다르게 형성되고,
    상기 복수의 애퍼처들 각각의 다이아몬드 형상은
    면적이 서로 동일한, 이미지의 깊이 추정 방법.
  15. 복수의 다이아몬드 형상의 애퍼처들을 이용하는 이미지의 깊이 추정 장치에 있어서,
    복수의 다이아몬드 형상의 애퍼처들;
    상기 복수의 다이아몬드 형상의 애퍼처들을 이용하여 복수의 이미지들을 획득하는 이미지 센서; 및
    상기 복수의 이미지들에서 에지를 검출하고, 상기 에지의 선형 세그먼트에 대한 방향을 계산하며, 상기 계산된 방향에 따른 라인 및 수평축 사이의 각도를 상기 복수의 애퍼처들 각각의 다이아몬드 형상에 포함되는 어느 한 변 및 상기 수평축 사이의 각도와 비교하여, 상기 복수의 이미지들 사이에서 상기 에지의 픽셀들 각각의 수직 블러 또는 수평 블러 중 어느 하나-상기 비교 결과에 따라 선택된 어느 하나-의 차이에 기초하여 상기 에지의 픽셀들 각각의 깊이를 추정하는 깊이 추정부
    를 포함하는 이미지의 깊이 추정 장치.
PCT/KR2015/004097 2015-04-24 2015-04-24 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치 WO2016171296A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/004097 WO2016171296A1 (ko) 2015-04-24 2015-04-24 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/004097 WO2016171296A1 (ko) 2015-04-24 2015-04-24 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016171296A1 true WO2016171296A1 (ko) 2016-10-27

Family

ID=57143210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004097 WO2016171296A1 (ko) 2015-04-24 2015-04-24 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016171296A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135893A1 (en) * 2002-10-21 2004-07-15 Florida Atlantic University Film digitizer
KR20120027712A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 영상 처리 방법 및 장치
KR20130001635A (ko) * 2011-06-27 2013-01-04 에스케이플래닛 주식회사 깊이 맵 생성 방법 및 장치
KR20130038300A (ko) * 2010-10-05 2013-04-17 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 공간 광 패턴에 기초한 깊이 데이터의 생성
WO2014008939A1 (en) * 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135893A1 (en) * 2002-10-21 2004-07-15 Florida Atlantic University Film digitizer
KR20120027712A (ko) * 2010-09-13 2012-03-22 삼성전자주식회사 영상 처리 방법 및 장치
KR20130038300A (ko) * 2010-10-05 2013-04-17 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 공간 광 패턴에 기초한 깊이 데이터의 생성
KR20130001635A (ko) * 2011-06-27 2013-01-04 에스케이플래닛 주식회사 깊이 맵 생성 방법 및 장치
WO2014008939A1 (en) * 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface

Similar Documents

Publication Publication Date Title
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2020062616A1 (zh) 显示面板的伽马值调节方法、装置及显示设备
WO2015099251A1 (ko) 웨이퍼의 형상 분석 방법 및 장치
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2015152691A2 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2014079189A1 (zh) 图像处理方法、装置以及成像设备
WO2013151230A1 (en) Display panel with curved shape and radius acquision method for the same
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2019209069A1 (ko) 광각 영상 제공 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2012002742A2 (en) Camera module and method for driving the same
WO2019066594A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2017039418A1 (ko) 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
WO2020004837A1 (ko) 자동 편광 조절 장치 및 방법
WO2020062615A1 (zh) 显示面板的伽马值调节方法、装置及显示设备
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
WO2016099165A1 (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
WO2016041225A1 (zh) 一种视频处理方法及装置
WO2020078404A1 (zh) 背光补偿方法、设备、系统及存储介质
WO2020056952A1 (zh) 显示面板的控制方法、显示面板及存储介质
WO2016129796A1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
WO2016171296A1 (ko) 비 정사각 및 비 원 형상의 애퍼처를 이용하는 이미지의 깊이 추정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889962

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889962

Country of ref document: EP

Kind code of ref document: A1