WO2016104839A1 - 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치 - Google Patents

멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치 Download PDF

Info

Publication number
WO2016104839A1
WO2016104839A1 PCT/KR2014/012877 KR2014012877W WO2016104839A1 WO 2016104839 A1 WO2016104839 A1 WO 2016104839A1 KR 2014012877 W KR2014012877 W KR 2014012877W WO 2016104839 A1 WO2016104839 A1 WO 2016104839A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
image
images
histogram
extracting
Prior art date
Application number
PCT/KR2014/012877
Other languages
English (en)
French (fr)
Inventor
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2014/012877 priority Critical patent/WO2016104839A1/ko
Publication of WO2016104839A1 publication Critical patent/WO2016104839A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention relates to an apparatus and method for extracting depth information using a histogram of an image in a multi-aperture camera system. More specifically, the present invention relates to at least two images each having a different degree of blur. A technique for extracting depth information from an image using at least two histograms for intensity in a particular area.
  • the technique of extracting depth information from an existing image determines a depth in a specific region using a point spread function (PSF) based on two images having different blur levels.
  • the apparatus for extracting depth information may include data of each of a plurality of pixels corresponding to a specific region of the first image 110. After acquiring the first patch data including the first patch data, the first patch data is convolutioned into the plurality of depth kernels 120 formed based on the pre-extracted PSF, thereby blurring the plurality of blur patches. generate patches).
  • the apparatus for extracting the existing depth information acquires second patch data including data of each of a plurality of pixels corresponding to a specific region of the second image 130 corresponding to the first patch data, and By comparing the similarity between the two patch data and each of the plurality of blur patches, the depth corresponding to the depth kernel having the most similar value is determined as the depth in a specific area.
  • the conventional technique for extracting depth information has a disadvantage in that a process of extracting a PSF and an operation of comparing similarities between the second patch data and each of the plurality of blur patches are complicated and an error is generated.
  • Embodiments of the present invention provide a method, apparatus and system for extracting depth information from an image by using at least two histograms instead of using a PSF, thereby reducing computational complexity and preventing error.
  • embodiments of the present invention match the at least two histograms to a pre-established depth-specific histogram model, thereby extracting depth information from an image using at least two histograms in determining depth in a specific region. To provide devices and systems.
  • a method of extracting depth information from an image in a multi aperture camera includes obtaining at least two images having different blur degrees; Extracting at least two histograms for intensity in a specific area included in each of the at least two images; And determining a depth in the specific region based on the extracted at least two histograms.
  • the at least two images may include any one of an R image, a G image, or a B image of the same object and an IR image of the same object.
  • the method of extracting depth information from the image may further include constructing a depth-specific histogram model of at least two images having different degrees of blur, and determining the depth in the specific area may be performed in advance.
  • the method may include determining the depth in the specific region by matching the extracted at least two histograms to the constructed depth-specific histogram model.
  • Determining the depth in the particular region may include calculating at least one of a ratio or a difference between a population in a preset count region of each of the extracted at least two histograms; Matching at least one of the calculated ratio or difference to the prebuilt depth histogram model; And determining, in the pre-established depth-specific histogram model, a depth corresponding to at least one of the calculated ratio or difference as the depth in the specific region.
  • the preset count area may be an area including, in each of the at least two extracted histograms, at least one population indicating a blur degree of a specific area included in each of the at least two images.
  • the preset count area may be an area including, in each of the extracted at least two histograms, a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values.
  • the constructing the histogram model for each depth may include generating a histogram for each of at least two images having different blur levels for each depth; And calculating and storing at least one of a ratio or a difference between a population in a preset count area of the histogram for each of the at least two images for each of the depths.
  • Acquiring the at least two images may include acquiring the at least two images through different apertures included in the multi aperture camera.
  • an apparatus for extracting depth information from an image in a multi aperture camera includes: an image obtaining unit obtaining at least two images having different blur degrees; A histogram extracting unit for extracting at least two histograms of intensity in a specific area included in each of the at least two images; And a depth determiner configured to determine a depth in the specific region based on the extracted at least two histograms.
  • the apparatus for extracting depth information from the image further includes a depth-specific histogram model constructing unit for constructing a depth-specific histogram model for at least two images having different degrees of blur, and the depth determiner is configured to the pre-established depth.
  • the depth of the specific region may be determined by matching the extracted at least two histograms to a star histogram model.
  • the depth determiner calculates at least one of a ratio or a difference between a population in a preset count area of each of the extracted at least two histograms, and calculates the calculated depth histogram model. Matching at least one of a ratio or a difference, and in the pre-established depth-specific histogram model, a depth corresponding to at least one of the calculated ratio or difference may be determined as the depth in the specific region.
  • the preset count area may be an area including, in each of the at least two extracted histograms, at least one population indicating a blur degree of a specific area included in each of the at least two images.
  • the depth-specific histogram model generator generates a histogram for each of the at least two images having different degrees of blur for each depth, and a ratio between the populations in a preset count area of the histogram for each of the at least two images. Alternatively, at least one of the differences may be calculated and stored for each depth.
  • Embodiments of the present invention can provide a method, apparatus, and system for extracting depth information from an image that reduces computational complexity and prevents error by using at least two histograms instead of using a PSF. .
  • embodiments of the present invention match the at least two histograms to a pre-established depth-specific histogram model, thereby extracting depth information from an image using at least two histograms in determining depth in a specific region.
  • An apparatus and a system can be provided.
  • 1 is a conceptual diagram illustrating a method of extracting depth information from an existing image.
  • FIG. 2 is a conceptual diagram illustrating a method of extracting depth information from an image according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating the degree of blur in a specific area included in an image according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a multi-aperture camera according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of extracting depth information from an image according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating an apparatus for extracting depth information from an image according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating a method of extracting depth information from an image according to an embodiment of the present invention.
  • an apparatus for extracting depth information from an image may provide information about an intensity of a specific area 210 and 220 included in each of at least two images having different blur levels.
  • the depth in the specific region 210 or 220 is determined.
  • the horizontal axis represents an intensity value
  • the vertical axis represents a population.
  • the apparatus for extracting depth information from an image extracts a first histogram 211 of the intensity in a specific area 210 included in the first image, and has a second blur with a different degree of blurring from the first image.
  • the second histogram 221 of the intensity in the specific region 220 included in the image By extracting the second histogram 221 of the intensity in the specific region 220 included in the image, the depth in the specific regions 210 and 220 using the first histogram 211 and the second histogram 221. Can be determined.
  • the first image and the second image which are at least two images having different blur degrees, may be obtained through different apertures included in the multi-aperture camera. Detailed description thereof will be described with reference to FIG. 4.
  • the at least two histograms 211 and 221 of the intensity in the specific region 210 and 220 include at least one population representing the blur degree for the specific region 210 and 220, and thus, the specific region.
  • the ratio or difference between the population in each of the at least two histograms 211, 221 to the intensity at 210, 220 represents the ratio or difference between the blur sizes in each of the particular regions 210, 220.
  • the apparatus for extracting depth information from an image uses at least two histograms 211 and 221 for intensity in a specific region 210 and 220, thereby providing a specific region 210.
  • the depth in the specific regions 210 and 220 may be determined based on the blur size in each of the 220.
  • An apparatus for extracting depth information from an image may extract at least two histograms 211 and 221 for intensity in a specific area 210 and 220, before extracting at least two images with different degrees of blur.
  • the pre-established depth-specific histogram model 230 is obtained.
  • the at least two histograms 211 and 221 extracted may be matched to determine a depth in the specific region 210 or 220.
  • the apparatus for extracting depth information from an image generates histograms 231 and 232 for each of at least two images having different degrees of blur for each depth, and the histogram 231 for each of the at least two images.
  • Depth histogram model 230 may be constructed in advance by calculating and storing at least one of a ratio or a difference between the populations 241 and 242 in the preset count area 240 of 232 for each depth.
  • values calculated and stored for each depth in the depth-specific histogram model 230 are between the populations 241 and 242 in the preset count area 240 of the histograms 231 and 232 for each of the at least two images.
  • the difference between the populations 241 and 242 in the preset count area 240 of the histograms 231 and 232 for each of the at least two images may be different.
  • an apparatus for extracting depth information from an image generates a histogram 231 for a first image and a histogram 232 for a second image for each depth, and presets the histogram 231 for the first image.
  • Depth histogram model by calculating and storing the ratio between the population 241 in the count area 240 and the population 242 in the preset count area 240 of the histogram 232 for the second image for each depth. 230 can be built in advance.
  • the preset count area 240 may be an area including at least one population indicating a blur degree for each of the at least two images in the histograms 231 and 232 for each of the at least two images. . Detailed description thereof will be described with reference to FIG. 3.
  • the apparatus for extracting depth information from the image may determine at least one of a ratio or a difference between the populations 251 and 252 in the preset count area 250 of each of the extracted at least two histograms 211 and 221. Calculate and match at least one of the calculated ratios or differences to the pre-established depth-specific histogram model 230 to at least one of the calculated ratios or differences in the pre-established depth-specific histogram model 230.
  • the corresponding depth may be determined as the depth in the specific regions 210 and 220.
  • an apparatus for extracting depth information from an image may include a population 251 in a preset count area 250 of the extracted first histogram 211 and a preset count area of the extracted second histogram 221.
  • the pre-established first histogram 211 is extracted from the pre-established depth-specific histogram model 230.
  • Depth corresponding to the ratio between the population 251 in the set count area 250 and the population 252 in the preset count area 250 of the extracted second histogram 221 is determined in the specific areas 210 and 220. This can be determined by the depth at.
  • the preset count area 250 may include at least one of the at least two histograms 211 and 212 representing the degree of blur for the specific area 210 and 220 included in each of the at least two images. It may be an area containing a population.
  • the apparatus for extracting depth information from an image uses at least two histograms 211 and 221 instead of using the PSF
  • the PSF extraction process itself may be omitted.
  • the process of convolving the first patch data corresponding to the first image to the plurality of depth kernels formed based on the PSF may also be omitted, and the plurality of blurs generated by convolving the first patch data into the plurality of depth kernels may be omitted.
  • the process of comparing the similarity between each of the patches and the second patch data corresponding to the second image may be omitted.
  • the apparatus for extracting depth information from an image before comparing the similarity between each of the plurality of blur patches and the second patch data, between the plurality of blur patches and the second patch data;
  • the interpolation process for adjusting the pixel of the circuit can be omitted, the normalization process can be omitted, free from AC noise and DC noise, and the process of correcting chromatic aberration can be omitted.
  • the apparatus for extracting depth information from an image may extract only the histogram of a specific area included in the image to determine whether there is an edge for the intensity in the image.
  • the process of searching for an edge in the image and selecting an area where an edge exists as a specific area may be omitted.
  • the apparatus for extracting depth information from an image extracts depth information from an image by using at least two histograms 211 and 221 instead of using a PSF. This reduces the complexity of the operation and prevents errors.
  • FIG. 3 is a diagram illustrating the degree of blur in a specific area included in an image according to an embodiment of the present invention.
  • the degree of blur in a specific area of an image in which an edge for intensity is present is expressed as a Gaussian PSF as shown in (a), and an edge profile. As shown in (b), it may be expressed as a histogram as shown in (c).
  • the horizontal axis of the Gaussian PSF in (a) refers to the coordinates based on the position where the edge exists in the specific region
  • the vertical axis refers to the intensity.
  • the blur size in a particular area of the image where the edge is present may be proportional to the full width at half maximum 310 for the maximum intensity value in the Gaussian PSF.
  • the horizontal axis of edge profile of (b) means the coordinate which shows a position in a specific area
  • a vertical axis means intensity
  • the blur size in a particular area of the image where the edge is present may be proportional to the width 320 of the sloped curve between the maximum and minimum intensity values in the edge profile.
  • the horizontal axis of the histogram of (c) means the intensity value
  • the vertical axis means the population.
  • the blur size in a particular area of the image where the edge is present may be proportional to the area 330 comprising a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values in the histogram.
  • the region 330 including the population of the minimum intensity value and the population of the intermediate intensity value except the population of the maximum intensity value in the histogram means the preset count region described above.
  • the region 330 including the population of the minimum intensity value and the population of the medium intensity value except the population of the maximum intensity value in the histogram may include at least one population representing the blurring degree for the specific region.
  • a minimum intensity value adaptively including at least one population representing the degree of blurring for a particular area, as well as an area 330 comprising a population of intermediate intensity values excluding a population of intensity values and a population of maximum intensity values
  • an area 331 may also be an area 331 that contains a population of intermediate intensity values excluding populations of and a population around a maximum intensity value.
  • FIG. 4 is a diagram illustrating a multi-aperture camera according to an embodiment of the present invention.
  • the apparatus for extracting depth information from an image obtains at least two images through different apertures 410 and 420 included in a multi-aperture camera. It is possible to have at least two images have different degrees of blur.
  • an apparatus for extracting depth information from an image may acquire an image composed of an IR signal based on an IR signal introduced through an infrared aperture (410) from the image sensor 430, Based on any one of the RGB signals flowing through the red-green-blue (RGB) aperture 420, an image configured as one of the RGB signals may be obtained.
  • RGB red-green-blue
  • the apparatus for extracting depth information from an image obtains an image composed of an IR signal based on an IR signal, and obtains an image composed of a G signal based on a G signal among RGB signals.
  • An image composed of IR signals having different degrees of blur and an image composed of G signals may be obtained.
  • the first image described above with reference to FIG. 2 may mean an image composed of an IR signal
  • the second image may mean an image composed of any one of RGB signals.
  • At least two images having different degrees of blur obtained by the apparatus for extracting depth information from the image are not limited or limited to those obtained through different apertures 410 and 420, but in one aperture. By performing different functional operations, they may be obtained to have different degrees of blur.
  • FIG. 5 is a flowchart illustrating a method of extracting depth information from an image according to an embodiment of the present invention.
  • an apparatus for extracting depth information from an image may build a histogram model for each depth of at least two images having different blur levels (510).
  • the apparatus for extracting the depth information from the image generates a histogram for each of the at least two images having a different blur degree for each depth, the population in the preset count region of the histogram for each of the at least two images
  • a histogram model for each depth may be constructed.
  • the preset count area may be an area including at least one population indicating a blur degree for each of the at least two images in the histogram for each of the at least two images.
  • the preset count area may be an area including a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values in the histogram for each of the at least two images.
  • the apparatus for extracting depth information from the image may be performed in a specific area included in each of the at least two images based on the at least two histograms extracted from the at least two images. Determine the depth of
  • the apparatus for extracting depth information from an image acquires at least two images having different blur degrees (520).
  • the apparatus for extracting depth information from the image may acquire at least two images through different apertures included in the multi-aperture camera.
  • the apparatus for extracting depth information from the image extracts at least two histograms of intensity in a specific area included in each of the at least two images (530).
  • the apparatus for extracting depth information from the image determines 540 a depth in a particular region based on the extracted at least two histograms.
  • the apparatus for extracting the depth information from the image may determine the depth in a specific region by matching the extracted histogram models with the previously-established depth-specific histogram model.
  • an apparatus for extracting depth information from an image calculates at least one of a ratio or a difference between a population in a preset count region of each of the extracted at least two histograms, and calculates the pre-established depth-specific histogram model.
  • the depth corresponding to at least one of the calculated ratio or difference may be determined as a depth in a specific region in the pre-established depth-specific histogram model.
  • the preset count area may be an area including at least one population indicating a blur degree of a specific area included in each of the at least two images in each of the extracted at least two histograms.
  • the preset count area may be an area including, in each of the at least two extracted histograms, a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values.
  • FIG. 6 is a block diagram illustrating an apparatus for extracting depth information from an image according to an embodiment of the present invention.
  • an apparatus for extracting depth information from an image may include a histogram model builder 610 for each depth, an image acquirer 620, a histogram extractor 630, and a depth determiner. 640 may include.
  • the depth-specific histogram model builder 610 may build a depth-specific histogram model for at least two images having different degrees of blur.
  • the histogram model builder 610 for each depth generates a histogram for each of at least two images having different blur degrees for each depth, and determines a histogram for each of the at least two images in a preset count area of the histogram.
  • Depth histogram models can be constructed by calculating and storing at least one of ratios or differences between populations for each depth.
  • the preset count area may be an area including at least one population indicating a blur degree for each of the at least two images in the histogram for each of the at least two images.
  • the preset count area may be an area including a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values in the histogram for each of the at least two images.
  • the image acquirer 620, the histogram extractor 630, and the depth determiner 640 operate so that at least two The depth in a particular area included in each of the at least two images is determined based on the at least two histograms extracted from the images.
  • the image acquirer 620 acquires at least two images having different blur degrees.
  • the image acquirer 620 may acquire at least two images through different apertures included in the multi-aperture camera.
  • the histogram extractor 630 extracts at least two histograms of the intensity in a specific area included in each of the at least two images.
  • the depth determiner 640 determines the depth in the specific region based on the extracted at least two histograms.
  • the depth determiner 640 may match the at least two extracted histograms with a previously constructed depth-specific histogram model to determine a depth in a specific region.
  • the depth determiner 640 calculates at least one of a ratio or a difference between a population in a preset count region of each of the extracted at least two histograms, and calculates the pre-established depth-specific histogram model. By matching at least one of the calculated ratios or differences, the depth corresponding to at least one of the calculated ratios or differences may be determined as the depth in the specific region in the pre-established depth-specific histogram model.
  • the preset count area may be an area including at least one population indicating a blur degree of a specific area included in each of the at least two images in each of the extracted at least two histograms.
  • the preset count area may be an area including, in each of the at least two extracted histograms, a population of intermediate intensity values excluding a population of minimum intensity values and a population of maximum intensity values.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

멀티 애퍼처 카메라(multi aperture camera)에서 이미지로부터 깊이 정보를 추출하는 방법은 서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들을 획득하는 단계; 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 추출하는 단계; 및 상기 추출된 적어도 두 개의 히스토그램들에 기초하여 상기 특정 영역에서의 깊이를 결정하는 단계를 포함한다.

Description

멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치
본 발명은 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 장치 및 그 방법에 관한 것으로, 보다 구체적으로, 서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 이용하여, 이미지로부터 깊이 정보를 추출하는 기술에 관한 것이다.
기존의 이미지로부터 깊이 정보를 추출하는 기술은 서로 다른 블러 정도를 갖는 두 개의 이미지들을 기초로 PSF(Point Spread Function)을 이용하여 특정 영역에서의 깊이를 결정한다. 예를 들어, 기존의 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 도 1을 살펴보면, 기존의 깊이 정보를 추출하는 장치는 제1 이미지(110)의 특정 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 획득한 후, 미리 추출된 PSF에 기초하여 형성된 복수의 깊이 커널들(depth kernels)(120)에 제1 패치 데이터를 컨벌루션(convolution)함으로써, 복수의 블러 패치들(blurred patches)을 생성한다.
그 후, 기존의 깊이 정보를 추출하는 장치는 제1 패치 데이터와 대응하는 제2 이미지(130)의 특정 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 획득하여, 제2 패치 데이터와 복수의 블러 패치들 각각 사이의 유사도를 비교함으로써, 가장 유사한 값을 갖는 깊이 커널에 대응하는 깊이를 특정 영역에서의 깊이로 결정한다.
그러나, 기존의 깊이 정보를 추출하는 기술은 PSF를 추출하는 과정 및 제2 패치 데이터와 복수의 블러 패치들 각각 사이의 유사도를 비교하는 연산 과정이 복잡하고, 에러가 발생되는 단점이 있다.
이에, 본 명세서에서는 PSF를 이용하는 대신에, 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도에 대한 적어도 두 개의 히스토그램들을 이용함으로써, 연산의 복잡도를 감소시키고, 에러 발생을 방지하는, 이미지로부터 깊이 정보를 추출하는 기술을 제안한다.
본 발명의 실시예들은 PSF를 이용하는 대신에, 적어도 두 개의 히스토그램들을 이용함으로써, 연산의 복잡도를 감소시키고, 에러 발생을 방지하는, 이미지로부터 깊이 정보를 추출하는 방법, 장치 및 시스템을 제공한다.
이 때, 본 발명의 실시예들은 적어도 두 개의 히스토그램들을 미리 구축된 깊이별 히스토그램 모델에 매칭함으로써, 특정 영역에서의 깊이를 결정하는 과정에서 적어도 두 개의 히스토그램들을 이용하는, 이미지로부터 깊이 정보를 추출하는 방법, 장치 및 시스템을 제공한다.
본 발명의 일실시예에 따른 멀티 애퍼처 카메라(multi aperture camera)에서 이미지로부터 깊이 정보를 추출하는 방법은 서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들을 획득하는 단계; 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 추출하는 단계; 및 상기 추출된 적어도 두 개의 히스토그램들에 기초하여 상기 특정 영역에서의 깊이를 결정하는 단계를 포함한다.
상기 적어도 두 개의 이미지들은 동일한 객체에 대한 R 이미지, G 이미지 또는 B 이미지 중 어느 하나와 상기 동일한 객체에 대한 IR 이미지 중 어느 하나를 포함할 수 있다.
상기 이미지로부터 깊이 정보를 추출하는 방법은 상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축하는 단계를 더 포함하고, 상기 특정 영역에서의 깊이를 결정하는 단계는 상기 미리 구축된 깊이별 히스토그램 모델에, 상기 추출된 적어도 두 개의 히스토그램들을 매칭하여, 상기 특정 영역에서의 깊이를 결정하는 단계를 포함할 수 있다.
상기 특정 영역에서의 깊이를 결정하는 단계는 상기 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단(population) 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하는 단계; 상기 미리 구축된 깊이별 히스토그램 모델에, 상기 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭하는 단계; 및 상기 미리 구축된 깊이별 히스토그램 모델에서, 상기 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 상기 특정 영역에서의 깊이로 결정하는 단계를 포함할 수 있다.
상기 미리 설정된 카운트 영역은 상기 추출된 적어도 두 개의 히스토그램들 각각에서, 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다.
상기 미리 설정된 카운트 영역은 상기 추출된 적어도 두 개의 히스토그램들 각각에서, 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역일 수 있다.
상기 깊이별 히스토그램 모델을 구축하는 단계는 상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하는 단계; 및 상기 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 상기 깊이별로 계산하여 저장하는 단계를 포함할 수 있다.
상기 적어도 두 개의 이미지들을 획득하는 단계는 상기 멀티 애퍼처 카메라에 포함되는 서로 다른 애퍼처들을 통하여 상기 적어도 두 개의 이미지들을 획득하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 멀티 애퍼처 카메라(multi aperture camera)에서 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들을 획득하는 이미지 획득부; 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 추출하는 히스토그램 추출부; 및 상기 추출된 적어도 두 개의 히스토그램들에 기초하여 상기 특정 영역에서의 깊이를 결정하는 깊이 결정부를 포함한다.
상기 이미지로부터 깊이 정보를 추출하는 장치는 상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축하는 깊이별 히스토그램 모델 구축부를 더 포함하고, 상기 깊이 결정부는 상기 미리 구축된 깊이별 히스토그램 모델에, 상기 추출된 적어도 두 개의 히스토그램들을 매칭하여, 상기 특정 영역에서의 깊이를 결정할 수 있다.
상기 깊이 결정부는 상기 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단(population) 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하고, 상기 미리 구축된 깊이별 히스토그램 모델에, 상기 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭하며, 상기 미리 구축된 깊이별 히스토그램 모델에서, 상기 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 상기 특정 영역에서의 깊이로 결정할 수 있다.
상기 미리 설정된 카운트 영역은 상기 추출된 적어도 두 개의 히스토그램들 각각에서, 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다.
상기 깊이별 히스토그램 모델 구축부는 상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하고, 상기 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 상기 깊이별로 계산하여 저장할 수 있다.
본 발명의 실시예들은 PSF를 이용하는 대신에, 적어도 두 개의 히스토그램들을 이용함으로써, 연산의 복잡도를 감소시키고, 에러 발생을 방지하는, 이미지로부터 깊이 정보를 추출하는 방법, 장치 및 시스템을 제공할 수 있다.
이 때, 본 발명의 실시예들은 적어도 두 개의 히스토그램들을 미리 구축된 깊이별 히스토그램 모델에 매칭함으로써, 특정 영역에서의 깊이를 결정하는 과정에서 적어도 두 개의 히스토그램들을 이용하는, 이미지로부터 깊이 정보를 추출하는 방법, 장치 및 시스템을 제공할 수 있다.
도 1은 기존의 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일실시예에 따른 이미지에 포함되는 특정 영역에서의 블러 정도를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 멀티 애퍼처 카메라를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 플로우 차트이다.
도 6은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치를 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 포함되는 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221)을 추출하여 이용함으로써, 특정 영역(210, 220)에서의 깊이를 결정한다. 이 때, 두 개의 히스토그램들(211, 221)에서 가로축은 강도값을 의미하고, 세로축은 모집단(population)을 의미한다.
예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지에 포함되는 특정 영역(210)에서의 강도에 대한 제1 히스토그램(211)을 추출하고, 제1 이미지와 다른 블러 정도를 갖는 제2 이미지에 포함되는 특정 영역(220)에서의 강도에 대한 제2 히스토그램(221)을 추출함으로써, 제1 히스토그램(211) 및 제2 히스토그램(221)을 이용하여 특정 영역(210, 220)에서의 깊이를 결정할 수 있다.
여기서, 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들인 제1 이미지 및 제2 이미지는 멀티 애퍼처 카메라에 포함되는 서로 다른 애퍼처들을 통하여 획득될 수 있다. 이에 대한 상세한 설명은 도 4를 참조하여 기재하기로 한다.
이 때, 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221)은 특정 영역(210, 220)에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하기 때문에, 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221) 각각에서의 모집단 사이의 비율 또는 차이는 특정 영역(210, 220) 각각에서의 블러 사이즈 사이의 비율 또는 차이를 나타낸다.
따라서, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221)을 이용함으로써, 특정 영역(210, 220) 각각에서의 블러 사이즈에 기초하여 특정 영역(210, 220)에서의 깊이를 결정할 수 있다.
이미지로부터 깊이 정보를 추출하는 장치는 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221)을 추출하기 이전에, 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델(230)을 미리 구축함으로써, 특정 영역(210, 220)에서의 강도에 대한 적어도 두 개의 히스토그램들(211, 221)을 추출한 후, 미리 구축된 깊이별 히스토그램 모델(230)에, 추출된 적어도 두 개의 히스토그램들(211, 221)을 매칭하여, 특정 영역(210, 220)에서의 깊이를 결정할 수 있다.
구체적으로, 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램(231, 232)을 깊이별로 생성하고, 적어도 두 개의 이미지들 각각에 대한 히스토그램(231, 232)의 미리 설정된 카운트 영역(240)에서의 모집단(241, 242) 사이의 비율 또는 차이 중 적어도 어느 하나를 깊이별로 계산하여 저장함으로써, 깊이별 히스토그램 모델(230)을 미리 구축할 수 있다. 도면에는, 깊이별 히스토그램 모델(230)에 깊이별로 계산되어 저장되는 값을 적어도 두 개의 이미지들 각각에 대한 히스토그램(231, 232)의 미리 설정된 카운트 영역(240)에서의 모집단(241, 242) 사이의 비율로 도시하였으나, 이에 제한되거나 한정되지 않고, 적어도 두 개의 이미지들 각각에 대한 히스토그램(231, 232)의 미리 설정된 카운트 영역(240)에서의 모집단(241, 242) 사이의 차이일 수도 있다.
예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지에 대한 히스토그램(231) 및 제2 이미지에 대한 히스토그램(232)을 깊이별로 생성하고, 제1 이미지에 대한 히스토그램(231)의 미리 설정된 카운트 영역(240)에서의 모집단(241)과 제2 이미지에 대한 히스토그램(232)의 미리 설정된 카운트 영역(240)에서의 모집단(242) 사이의 비율을 깊이별로 계산하여 저장함으로써, 깊이별 히스토그램 모델(230)을 미리 구축할 수 있다.
이 때, 미리 설정된 카운트 영역(240)은 적어도 두 개의 이미지들 각각에 대한 히스토그램(231, 232)에서, 적어도 두 개의 이미지들 각각에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
따라서, 이미지로부터 깊이 정보를 추출하는 장치는 추출된 적어도 두 개의 히스토그램들(211, 221) 각각의 미리 설정된 카운트 영역(250)에서의 모집단(251, 252) 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하고, 미리 구축된 깊이별 히스토그램 모델(230)에, 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭함으로써, 미리 구축된 깊이별 히스토그램 모델(230)에서, 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 특정 영역(210, 220)에서의 깊이로 결정할 수 있다.
예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 추출된 제1 히스토그램(211)의 미리 설정된 카운트 영역(250)에서의 모집단(251)과 추출된 제2 히스토그램(221)의 미리 설정된 카운트 영역(250)에서의 모집단(252) 사이의 비율을 계산하여 미리 구축된 깊이별 히스토그램 모델(230)에 매칭함으로써, 미리 구축된 깊이별 히스토그램 모델(230)에서, 추출된 제1 히스토그램(211)의 미리 설정된 카운트 영역(250)에서의 모집단(251)과 추출된 제2 히스토그램(221)의 미리 설정된 카운트 영역(250)에서의 모집단(252) 사이의 비율에 대응하는 깊이를 특정 영역(210, 220)에서의 깊이로 결정할 수 있다.
마찬가지로, 미리 설정된 카운트 영역(250)은 추출된 적어도 두 개의 히스토그램들(211, 212) 각각에서, 적어도 두 개의 이미지들 각각에 포함되는 특정 영역(210, 220)에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다.
이와 같이, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 PSF를 이용하는 대신에, 적어도 두 개의 히스토그램들(211, 221)을 이용하기 때문에, PSF 추출 과정 자체가 생략될 수 있고, PSF에 기초하여 형성된 복수의 깊이 커널들에 제1 이미지에 해당하는 제1 패치 데이터를 컨벌루션하는 과정도 생략될 수 있으며, 복수의 깊이 커널들에 제1 패치 데이터가 컨벌루션되어 생성된 복수의 블러 패치들 각각과 제2 이미지에 해당하는 제2 패치 데이터 사이의 유사도가 비교되는 과정이 생략될 수 있다.
또한, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 복수의 블러 패치들 각각과 제2 패치 데이터 사이의 유사도를 비교하기 이전에, 복수의 블러 패치들과 제2 패치 데이터 사이의 픽셀을 조정하기 위한 보간(interpolation) 과정을 생략할 수 있고, 정규화(normalization) 과정을 생략할 수 있으며, AC 노이즈 및 DC 노이즈로부터 자유롭고, 색 수차(chromatic aberration)를 보정하는 과정을 생략할 수 있다.
특히, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 이미지에 포함되는 특정 영역의 히스토그램만을 추출하여 이미지에서의 강도에 대한 에지(edge)가 존재하는지 여부를 판단할 수 있으므로, 이미지에서 에지를 탐색하여 에지가 존재하는 영역을 특정 영역으로 선택하는 과정을 생략할 수 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 PSF를 이용하는 대신에, 적어도 두 개의 히스토그램들(211, 221)을 이용함으로써, 이미지로부터 깊이 정보를 추출하는 과정에서 연산의 복잡도를 감소시키고, 에러 발생을 방지할 수 있다.
도 3은 본 발명의 일실시예에 따른 이미지에 포함되는 특정 영역에서의 블러 정도를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 강도에 대한 에지가 존재하는 이미지의 특정 영역에서의 블러 정도는 가우시안(Gaussian) PSF로 (a)와 같이 표현되고, 에지 프로파일(edge profile)로 (b)와 같이 표현되며, 히스토그램으로 (c)와 같이 표현될 수 있다.
여기서, (a)의 가우시안 PSF의 가로축은 특정 영역에서 에지가 존재하는 위치를 기준으로 하는 좌표를 의미하고, 세로축은 강도를 의미한다. 따라서, 에지가 존재하는 이미지의 특정 영역에서의 블러 사이즈는 가우시안 PSF에서 최대 강도값에 대한 반값 전폭(full width at half maximum)(310)과 비례할 수 있다.
또한, (b)의 에지 프로파일의 가로축은 특정 영역에서의 위치를 나타내는 좌표를 의미하고, 세로축은 강도를 의미한다. 따라서, 에지가 존재하는 이미지의 특정 영역에서의 블러 사이즈는 에지 프로파일에서 최대 강도값 및 최소 강도값 사이의 경사진 곡선의 너비(320)와 비례할 수 있다.
(c)의 히스토그램의 가로축은 강도값을 의미하고, 세로축은 모집단을 의미한다. 따라서, 에지가 존재하는 이미지의 특정 영역에서의 블러 사이즈는 히스토그램에서 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역(330)에 비례할 수 있다.
여기서, 히스토그램에서 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역(330)은 위에서 상술한 미리 설정된 카운트 영역을 의미한다.
이 때, 히스토그램에서 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역(330)은 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하면 되기 때문에, 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역(330)뿐만 아니라, 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 적응적으로 포함하는, 최소 강도값 주변의 모집단들 및 최대 강도값 주변의 모집단들을 제외한 중간 강도값의 모집단을 포함하는 영역(331)일 수도 있다.
도 4는 본 발명의 일실시예에 따른 멀티 애퍼처 카메라를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 멀티 애퍼처 카메라에 포함되는 서로 다른 애퍼처들(410, 420)을 통하여 적어도 두 개의 이미지들을 획득함으로써, 적어도 두 개의 이미지들이 서로 다른 블러 정도를 갖도록 할 수 있다.
예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 이미지 센서(430)에서 IR(Infrared) 애퍼처(410)를 통하여 유입되는 IR 신호를 기반으로, IR 신호로 구성되는 이미지를 획득할 수 있고, RGB(Red-Green-Blue) 애퍼처(420)를 통하여 유입되는 RGB 신호 중 어느 하나를 기반으로, RGB 신호 중 어느 하나로 구성되는 이미지를 획득할 수 있다.
더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 IR 신호를 기반으로, IR 신호로 구성되는 이미지를 획득하고, RGB 신호 중 G 신호를 기반으로, G 신호로 구성되는 이미지를 획득함으로써, 서로 다른 블러 정도를 갖는 IR 신호로 구성되는 이미지 및 G 신호로 구성되는 이미지를 획득할 수 있다.
따라서, 도 2에서 상술한 제1 이미지는 IR 신호로 구성되는 이미지를 의미할 수 있고, 제2 이미지는 RGB 신호 중 어느 하나로 구성되는 이미지를 의미할 수 있다.
그러나, 이미지로부터 깊이 정보를 추출하는 장치가 획득하는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들은 서로 다른 애퍼처들(410, 420)을 통하여 획득되는 것으로 제한되거나 한정되지 않고, 하나의 애퍼처에서 기능적 동작이 다르게 수행됨으로써, 서로 다른 블러 정도를 갖도록 획득될 수도 있다.
도 5는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축할 수 있다(510).
이 때, 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하고, 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 깊이별로 계산하여 저장함으로써, 깊이별 히스토그램 모델을 구축할 수 있다.
여기서, 미리 설정된 카운트 영역은 적어도 두 개의 이미지들 각각에 대한 히스토그램에서 적어도 두 개의 이미지들 각각에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다. 예를 들어, 미리 설정된 카운트 영역은 적어도 두 개의 이미지들 각각에 대한 히스토그램에서 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역일 수 있다.
이와 같이, 깊이별 히스토그램 모델이 미리 구축된 이후, 이미지로부터 깊이 정보를 추출하는 장치는 적어도 두 개의 이미지들에서 추출된 적어도 두 개의 히스토그램들에 기초하여 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 깊이를 결정한다.
구체적으로, 이미지로부터 깊이 정보를 추출하는 장치는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들을 획득한다(520).
이 때, 이미지로부터 깊이 정보를 추출하는 장치는 멀티 애퍼처 카메라에 포함되는 서로 다른 애퍼처들을 통하여 적어도 두 개의 이미지들을 획득할 수 있다.
이어서, 이미지로부터 깊이 정보를 추출하는 장치는 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도 대한 적어도 두 개의 히스토그램들을 추출한다(530).
그 후, 이미지로부터 깊이 정보를 추출하는 장치는 추출된 적어도 두 개의 히스토그램들에 기초하여 특정 영역에서의 깊이를 결정한다(540).
이 때, 이미지로부터 깊이 정보를 추출하는 장치는 미리 구축된 깊이별 히스토그램 모델에, 추출된 적어도 두 개의 히스토그램들을 매칭하여, 특정 영역에서의 깊이를 결정할 수 있다.
예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하고, 미리 구축된 깊이별 히스토그램 모델에, 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭함으로써, 미리 구축된 깊이별 히스토그램 모델에서, 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 특정 영역에서의 깊이로 결정할 수 있다.
여기서, 미리 설정된 카운트 영역은 추출된 적어도 두 개의 히스토그램들 각각에서, 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다. 예를 들어, 미리 설정된 카운트 영역은 추출된 적어도 두 개의 히스토그램들 각각에서, 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역일 수 있다.
도 6은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치를 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 깊이별 히스토그램 모델 구축부(610), 이미지 획득부(620), 히스토그램 추출부(630) 및 깊이 결정부(640)를 포함할 수 있다.
깊이별 히스토그램 모델 구축부(610)는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축할 수 있다.
이 때, 깊이별 히스토그램 모델 구축부(610)는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하고, 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 깊이별로 계산하여 저장함으로써, 깊이별 히스토그램 모델을 구축할 수 있다.
여기서, 미리 설정된 카운트 영역은 적어도 두 개의 이미지들 각각에 대한 히스토그램에서 적어도 두 개의 이미지들 각각에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다. 예를 들어, 미리 설정된 카운트 영역은 적어도 두 개의 이미지들 각각에 대한 히스토그램에서 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역일 수 있다.
이와 같이, 깊이별 히스토그램 모델 구축부(610)에서 깊이별 히스토그램 모델을 미리 구축한 이후, 이미지 획득부(620), 히스토그램 추출부(630) 및 깊이 결정부(640)가 동작함으로써, 적어도 두 개의 이미지들에서 추출된 적어도 두 개의 히스토그램들에 기초하여 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 깊이가 결정된다.
구체적으로, 이미지 획득부(620)는 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들을 획득한다.
이 때, 이미지 획득부(620)는 멀티 애퍼처 카메라에 포함되는 서로 다른 애퍼처들을 통하여 적어도 두 개의 이미지들을 획득할 수 있다.
이어서, 히스토그램 추출부(630)는 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도 대한 적어도 두 개의 히스토그램들을 추출한다.
그 후, 깊이 결정부(640)는 추출된 적어도 두 개의 히스토그램들에 기초하여 특정 영역에서의 깊이를 결정한다.
이 때, 깊이 결정부(640)는 미리 구축된 깊이별 히스토그램 모델에, 추출된 적어도 두 개의 히스토그램들을 매칭하여, 특정 영역에서의 깊이를 결정할 수 있다.
예를 들어, 깊이 결정부(640)는 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하고, 미리 구축된 깊이별 히스토그램 모델에, 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭함으로써, 미리 구축된 깊이별 히스토그램 모델에서, 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 특정 영역에서의 깊이로 결정할 수 있다.
여기서, 미리 설정된 카운트 영역은 추출된 적어도 두 개의 히스토그램들 각각에서, 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역일 수 있다. 예를 들어, 미리 설정된 카운트 영역은 추출된 적어도 두 개의 히스토그램들 각각에서, 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 멀티 애퍼처 카메라(multi aperture camera)에서 이미지로부터 깊이 정보를 추출하는 방법에 있어서,
    서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들을 획득하는 단계;
    상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 추출하는 단계; 및
    상기 추출된 적어도 두 개의 히스토그램들에 기초하여 상기 특정 영역에서의 깊이를 결정하는 단계
    를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  2. 제1항에 있어서,
    상기 적어도 두 개의 이미지들은
    동일한 객체에 대한 R 이미지, G 이미지 또는 B 이미지 중 어느 하나와 상기 동일한 객체에 대한 IR 이미지 중 어느 하나를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  3. 제1항에 있어서,
    상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축하는 단계
    를 더 포함하고,
    상기 특정 영역에서의 깊이를 결정하는 단계는
    상기 미리 구축된 깊이별 히스토그램 모델에, 상기 추출된 적어도 두 개의 히스토그램들을 매칭하여, 상기 특정 영역에서의 깊이를 결정하는 단계
    를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  4. 제3항에 있어서,
    상기 특정 영역에서의 깊이를 결정하는 단계는
    상기 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단(population) 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하는 단계;
    상기 미리 구축된 깊이별 히스토그램 모델에, 상기 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭하는 단계; 및
    상기 미리 구축된 깊이별 히스토그램 모델에서, 상기 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 상기 특정 영역에서의 깊이로 결정하는 단계
    를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  5. 제4항에 있어서,
    상기 미리 설정된 카운트 영역은
    상기 추출된 적어도 두 개의 히스토그램들 각각에서, 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역인, 이미지로부터 깊이 정보를 추출하는 방법.
  6. 제5항에 있어서,
    상기 미리 설정된 카운트 영역은
    상기 추출된 적어도 두 개의 히스토그램들 각각에서, 최소 강도값의 모집단 및 최대 강도값의 모집단을 제외한 중간 강도값의 모집단을 포함하는 영역인, 이미지로부터 깊이 정보를 추출하는 방법.
  7. 제3항에 있어서,
    상기 깊이별 히스토그램 모델을 구축하는 단계는
    상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하는 단계; 및
    상기 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 상기 깊이별로 계산하여 저장하는 단계
    를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  9. 멀티 애퍼처 카메라(multi aperture camera)에서 이미지로부터 깊이 정보를 추출하는 장치에 있어서,
    서로 다른 블러(blur) 정도를 갖는 적어도 두 개의 이미지들을 획득하는 이미지 획득부;
    상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에서의 강도(intensity)에 대한 적어도 두 개의 히스토그램들을 추출하는 히스토그램 추출부; 및
    상기 추출된 적어도 두 개의 히스토그램들에 기초하여 상기 특정 영역에서의 깊이를 결정하는 깊이 결정부
    를 포함하는 이미지로부터 깊이 정보를 추출하는 장치.
  10. 제9항에 있어서,
    상기 적어도 두 개의 이미지들은
    동일한 객체에 대한 R 이미지, G 이미지 또는 B 이미지 중 어느 하나와 상기 동일한 객체에 대한 IR 이미지 중 어느 하나를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
  11. 제9항에 있어서,
    상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들에 대한 깊이별 히스토그램 모델을 구축하는 깊이별 히스토그램 모델 구축부
    를 더 포함하고,
    상기 깊이 결정부는
    상기 미리 구축된 깊이별 히스토그램 모델에, 상기 추출된 적어도 두 개의 히스토그램들을 매칭하여, 상기 특정 영역에서의 깊이를 결정하는, 이미지로부터 깊이 정보를 추출하는 장치.
  12. 제11항에 있어서,
    상기 깊이 결정부는
    상기 추출된 적어도 두 개의 히스토그램들 각각의 미리 설정된 카운트 영역에서의 모집단(population) 사이의 비율 또는 차이 중 적어도 어느 하나를 계산하고,
    상기 미리 구축된 깊이별 히스토그램 모델에, 상기 계산된 비율 또는 차이 중 적어도 어느 하나를 매칭하며,
    상기 미리 구축된 깊이별 히스토그램 모델에서, 상기 계산된 비율 또는 차이 중 적어도 어느 하나에 대응하는 깊이를 상기 특정 영역에서의 깊이로 결정하는, 이미지로부터 깊이 정보를 추출하는 장치.
  13. 제11항에 있어서,
    상기 미리 설정된 카운트 영역은
    상기 추출된 적어도 두 개의 히스토그램들 각각에서, 상기 적어도 두 개의 이미지들 각각에 포함되는 특정 영역에 대한 블러 정도를 나타내는 적어도 하나의 모집단을 포함하는 영역인, 이미지로부터 깊이 정보를 추출하는 장치.
  14. 제11항에 있어서,
    상기 깊이별 히스토그램 모델 구축부는
    상기 서로 다른 블러 정도를 갖는 적어도 두 개의 이미지들 각각에 대한 히스토그램을 깊이별로 생성하고,
    상기 적어도 두 개의 이미지들 각각에 대한 히스토그램의 미리 설정된 카운트 영역에서의 모집단 사이의 비율 또는 차이 중 적어도 어느 하나를 상기 깊이별로 계산하여 저장하는, 이미지로부터 깊이 정보를 추출하는 장치.
PCT/KR2014/012877 2014-12-26 2014-12-26 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치 WO2016104839A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/012877 WO2016104839A1 (ko) 2014-12-26 2014-12-26 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/012877 WO2016104839A1 (ko) 2014-12-26 2014-12-26 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016104839A1 true WO2016104839A1 (ko) 2016-06-30

Family

ID=56150845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012877 WO2016104839A1 (ko) 2014-12-26 2014-12-26 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016104839A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310999A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
KR20110119989A (ko) * 2010-04-28 2011-11-03 성균관대학교산학협력단 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치
KR101345012B1 (ko) * 2009-01-30 2013-12-24 소니 일렉트로닉스 인코포레이티드 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310999A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
KR101345012B1 (ko) * 2009-01-30 2013-12-24 소니 일렉트로닉스 인코포레이티드 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체
KR20110119989A (ko) * 2010-04-28 2011-11-03 성균관대학교산학협력단 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치

Similar Documents

Publication Publication Date Title
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2020071701A1 (ko) 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
US20190012793A1 (en) Image processing apparatus, image processing method, and storage medium
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
JP2007300531A (ja) 物体検出装置
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
AU2020289853A1 (en) Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
WO2020231005A1 (ko) 영상 처리 장치 및 그 동작방법
WO2021205219A1 (en) Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
WO2016006901A1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
WO2016098943A1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
WO2016104839A1 (ko) 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치
WO2015046658A1 (ko) 설진기 재현성 측정 장치 및 방법
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2019225799A1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
WO2022177069A1 (ko) 라벨링 방법 및 이를 위한 컴퓨팅 장치
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14909153

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14909153

Country of ref document: EP

Kind code of ref document: A1