WO2013081383A1 - 깊이 영상을 고해상도로 변환하는 방법 및 장치 - Google Patents

깊이 영상을 고해상도로 변환하는 방법 및 장치 Download PDF

Info

Publication number
WO2013081383A1
WO2013081383A1 PCT/KR2012/010206 KR2012010206W WO2013081383A1 WO 2013081383 A1 WO2013081383 A1 WO 2013081383A1 KR 2012010206 W KR2012010206 W KR 2012010206W WO 2013081383 A1 WO2013081383 A1 WO 2013081383A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
image
target pixel
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2012/010206
Other languages
English (en)
French (fr)
Inventor
최욱
김도균
이기창
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120136381A external-priority patent/KR101978172B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US14/361,467 priority Critical patent/US9613293B2/en
Publication of WO2013081383A1 publication Critical patent/WO2013081383A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the following embodiments are related to an image processing method and apparatus.
  • a method and apparatus for converting a depth image to a high resolution according to a resolution of a color image is disclosed.
  • Time of Flight (ToF) depth cameras provide 2.5D (D) depth information of the scene in real time.
  • D 2.5D
  • a photodiode used as a pixel of a ToF camera has a low sensitivity. Due to the low sensitivity, the pixel size must be large, and the large pixel lowers the resolution of the image provided by the Tof camera.
  • depth cameras cannot acquire color information. Therefore, in order to generate a three-dimensional model of the scene, color information must be obtained by a separate color camera. In addition, the color camera and the depth camera need to be calibrated with each other geometrically. In order to make the viewpoint of the color camera and the viewpoint of the depth camera similar to each other, a device such as a beam splitter is required, which makes the camera physically large.
  • An embodiment may provide a method and apparatus for improving the resolution of a depth image and improving the depth of pixels in the depth image by applying depth image up-scaling, color-depth similarity based filtering, and boundary sharpening filtering to the depth image. have.
  • One embodiment may provide a method and apparatus for applying hierarchical color-depth similarity based filtering to a depth image.
  • a method of processing a depth image and a color image for a scene the depth image up-scaler increasing the resolution of the depth image by up-scaling the depth image using interpolation, color-depth A similarity-based filter using the color image and the up-scaled depth image to remove noise in the up-scaled depth image and a boundary sharpening filter further adding a boundary between objects in the up-scaled depth image.
  • a sharpening conversion is provided, wherein the resolution of the up-scaled depth image is the same as the resolution of the color image.
  • the color-depth similarity based filter may update the depth of the target pixel in the up-scaled depth image based on the similarities of the target pixel of each of the neighboring pixels and the depths of each of the neighboring pixels.
  • the neighboring pixels may be pixels in a window centered on the target pixel among pixels in the up-scaled depth image.
  • the similarity degree of the neighboring pixel with respect to the target pixel is a difference between a color of a pixel of the color image corresponding to the neighboring pixel and a color of a pixel of the color image corresponding to the target pixel, a depth of the neighboring pixel, and the target pixel. It may be determined based on one or more of the difference between the depth of, the position of the neighboring pixel and the position of the target pixel.
  • the color-depth similarity based filter may update the depth of the target pixel to a value obtained by dividing a first result value by a second result value.
  • the first result value may be a sum of a product of a depth of each of the neighboring pixels and a similarity with respect to the target pixel.
  • the second result value may be a sum of similarities for the target pixel of each of the neighboring pixels.
  • the pixels in the up-scaled depth image may be sequentially selected as target pixels and updated.
  • the target pixel may be updated repeatedly one or more times based on previously updated depths of each of the neighboring pixels.
  • the target pixel may be updated within a range of a minimum value and a maximum value.
  • the minimum value may be the minimum depth of the depths before the update of each of the neighboring pixels.
  • the maximum value may be the maximum depth of the depths before the update of each of the neighboring pixels.
  • the image processing method may further include generating the color image by down-sampling the original color image of the scene to the resolution of the depth image.
  • Increasing the resolution, generating the color image, and removing the noise may be repeatedly performed until the resolution of the up-scaled depth image is equal to the resolution of the original color image.
  • Converting the boundaries between the objects in the up-scaled depth image more clearly may include identifying a maximum depth and a minimum depth of each of the neighboring pixels of the target pixel in the up-scaled depth image; Determining whether the target pixel is within a boundary region between objects in the depth image; and when the target pixel is within the boundary region, a depth of the target pixel is determined by the target pixel of the maximum depth and the minimum depth. Substituting the depth closer to the depth may be further included.
  • the neighboring pixels may be pixels in a window centered on the target pixel among pixels in the up-scaled depth image.
  • the target pixel may be determined to be within the boundary area.
  • an image processing apparatus for processing a depth image and a color image for a scene, the depth image up-scaler to increase the resolution of the depth image by up-scaling the depth image using interpolation, the color Boundary for sharpening the boundary between objects in the up-scaled depth image and a color-depth similarity based filter that removes noise in the up-scaled depth image using an image and the up-scaled depth image And a sharpening filter, wherein the resolution of the up-scaled depth image is the same as that of the color image.
  • the color-depth similarity based filter may update the depth of the target pixel in the up-scaled depth image based on the similarities of the target pixel of each of the neighboring pixels and the depths of each of the neighboring pixels.
  • the color-depth similarity based filter may update the target pixel within a range of a minimum value and a maximum value.
  • the minimum value may be the minimum depth of the depths before the update of each of the neighboring pixels.
  • the maximum value may be the maximum depth of the depths before the update of each of the neighboring pixels.
  • the image processing apparatus may further include an original color image down-sampler that generates the color image by down-sampling the original color image of the scene to the resolution of the depth image.
  • the depth image up-scaler, the original color image down-sampler, and the color-depth similarity based filter may be repeatedly operated until the resolution of the up-scaled depth image is equal to the resolution of the original color image. have.
  • the boundary sharpening filter identifies a maximum depth and a minimum depth of the depths of each of the neighboring pixels of the target pixel in the up-scaled depth image, and whether the target pixel is within a boundary region between objects in the depth image. Determine the target pixel, and if the target pixel is within the boundary area, replace the depth of the target pixel with a depth closer to the depth of the target pixel among the maximum depth and the minimum depth. The boundaries between them can be converted more clearly.
  • the boundary sharpening filter may determine that the target pixel is within the boundary area when a difference between the maximum depth and the minimum depth is greater than a predetermined threshold.
  • a method and apparatus are provided for enhancing the resolution of a depth image and improving the depth of pixels in the depth image by applying depth image up-scaling, color-depth similarity based filtering, and edge sharpening filtering to the depth image.
  • An apparatus and method are provided for applying hierarchical color-depth similarity based filtering to a depth image.
  • FIG. 1 is a structural diagram of an image processing apparatus according to an exemplary embodiment.
  • FIG. 2 is a flowchart of an image processing method, according to an exemplary embodiment.
  • FIG. 3 illustrates a low resolution depth image, a high resolution depth image, and a high resolution color image according to an example.
  • FIG. 4 illustrates an operation of sharpening a boundary between objects in an up-scaled depth image by a boundary sharpening filter according to an example.
  • FIG 5 illustrates a depth image before the minimum-maximum filter is applied and a depth image after the minimum-maximum filter is applied according to an example.
  • FIG. 6 illustrates hierarchical color-depth similarity based filtering according to an example.
  • FIG. 7 is a flowchart of an image processing method applying hierarchical color-depth similarity based filtering according to an example.
  • the scene may be represented by a depth image and a color image.
  • the depth image includes one or more pixels.
  • One or more pixels of the depth image each have a depth (or a value representing depth).
  • the color image includes one or more pixels.
  • One or more pixels of the color image each have a color (or a value representing color).
  • the values of depth and depth may be used in the same sense. For example, updating the depth of a pixel may mean changing a depth value of the pixel. Updating the depth of a pixel to another depth may mean changing the depth value of the pixel to a return of another depth.
  • Specific pixels of the depth image and specific pixels of the color image may represent the same area (or point) in the scene. Specific pixels of the depth image and the specific pixels of the color image representing the same area may be viewed as pixels corresponding to each other.
  • a corresponding relationship of n: m may be established between pixels in the depth image and pixels in the color image.
  • n and m are natural numbers, respectively. Due to the nature of the color-depth camera, the depth image may be relatively low resolution, and the color image may be relatively high resolution.
  • depth of the pixel and the binocular disparity of the pixel are inversely correlated with each other.
  • depth may be replaced with “binocular disparity” or “inverse of binocular disparity”.
  • view and scene may have the same meaning and may be used interchangeably.
  • one sensor for example, a photodiode
  • IR infrared measurement
  • color measurement for irradiated depth. Visible light can be sensed.
  • a camera capable of sensing the color and depth of the scene at the same time is called a color-depth camera.
  • FIG. 1 is a structural diagram of an image processing apparatus according to an exemplary embodiment.
  • the image processing apparatus 100 may process a depth image and a color image of a scene.
  • the image processing apparatus 100 may convert the depth image into a high resolution according to the resolution of the color image.
  • the image processing apparatus 100 may include a depth image up-scaler 110, an original color image down-sampler 120, a color-depth similarity based filter 130, and sharpening a boundary. ) Filter 140.
  • FIG. 2 is a flowchart of an image processing method, according to an exemplary embodiment.
  • the depth image and the color image of the scene may be processed.
  • the resolution of the depth image may be lower than the resolution of the color image, and steps 210, 220, and 230 may convert the depth image to a high resolution according to the resolution of the color image.
  • the depth image up-scaler 110 increases the resolution of the depth image by up-scaling the depth image using interpolation.
  • the interpolation may be bilinear interpolation or higher order interpolation.
  • the resolution of the up-scaled depth image may be the same as the resolution of the color image.
  • the color-depth similarity based filter 130 removes noise in the up-scaled depth image using the color image and the up-scaled depth image. That is, noise in the up-scaled depth image may be removed by color-depth similarity-based filtering performed by the color-depth similarity-based filter 130 using the color image and the up-scaled depth image. In addition, color-depth similarity-based filtering allows the depth at the boundary between objects in the depth image to be converted more accurately.
  • the depth of the pixel corresponding to the boundary between the objects may be generated by mixing the depth of the foreground object and the depth of the background. Therefore, the depth of the pixel corresponding to the boundary between the objects may have a wrong value.
  • the color-depth similarity based filter 130 may determine the high resolution of the two pixels if the colors of two neighboring pixels are similar to each other, and the depths generated by interpolation of the two pixels are similar to each other. Filtering can be performed based on the assumption that the depths will be similar to each other.
  • the object may mean an object in the foreground and a background (or an object in the background).
  • More accurate depth may mean that the depth of a pixel of the depth image more accurately represents the position of the subject represented by the pixel.
  • the boundary sharpening filter 140 sharpens the boundary between objects in the up-scaled depth image. That is, the sharpening of the depth edge at the object boundary in the up-scaled depth image is increased by the boundary sharpening filtering performed by the boundary sharpening filter 140.
  • FIG. 3 illustrates a low resolution depth image, a high resolution depth image, and a high resolution color image according to an example.
  • the low resolution depth image 310 is a depth image of a scene before up-scaling.
  • the high resolution depth image 320 is an up-scaled depth image.
  • the high resolution color image 330 is a color image for the scene. As shown, the resolution of the low resolution depth image 310 is lower than the resolution of the high resolution color image 330, and the low resolution depth image 310 is converted to the high resolution depth image 320 by up-scaling.
  • the high resolution depth image 320 and the high resolution color image 330 may constitute a high resolution view 340.
  • the high resolution view 340 includes both color information and depth information about the scene, may be used for generating a 3D scene model, and may be used as an input view for generating a multi-view.
  • the up-scaled depth image and the color image may be input to the color-depth similarity based filter 130.
  • the depth of each of the pixels in the up-scaled depth image may be updated by the color-depth similarity based filter 130.
  • the color-depth similarity based filter 130 names the pixel to which the depth is to be updated as the target pixel.
  • neighboring pixels for the target pixel may be defined.
  • the neighboring pixels may represent peripheral regions including the target pixel of the target pixel.
  • the neighboring pixels may be pixels in a window (or area) of a specific size centering on the target pixel among the pixels in the up-scaled depth image.
  • the pixels in the up-scaled depth image may be selected and updated sequentially as target pixels by the color-depth similarity based filter 130.
  • the color-depth similarity based filter 130 may update the depths of each of the plurality of target pixels in parallel at one time.
  • the color-depth similarity based filter 130 may update the target pixel repeatedly one or more times based on previously updated depths of each of the neighboring pixels. That is, color-depth similarity based filtering on the up-scaled depth image may be performed one or more times.
  • the color-depth similarity based filter 130 may determine the depth of the target pixel in the up-scaled depth image as shown in Equation 1 below, and the similarity of the target pixel of each of the neighboring pixels and the depths of the neighboring pixels. Can be updated based on
  • t may mean the number of times the color-depth similarity based filtering is repeated.
  • z i may represent the depth of pixel i .
  • z j may represent the depth of pixel j .
  • the pixel i may represent a pixel selected as the target pixel.
  • Pixel j may represent one of the neighboring pixels of pixel i .
  • W i may represent a window centered on pixel i .
  • z j 1 may represent the depth of pixel j in the up-scaled depth image.
  • z i 2 is the updated depth of pixel i .
  • the color-depth similarity based filter 130 may update the depths of each of the pixels in the up-scaled depth image by performing a weighted averaging operation.
  • the weighted average operation means multiplying the depth and weight of each neighboring pixel and normalizing the sum of the depths of each of the neighboring pixels multiplied by the weight using the sum of the weights of all neighboring pixels. do.
  • the weight may be a degree of similarity with respect to the target pixel of the neighboring pixel.
  • the color-depth similarity based filter 130 may update the depth of the target pixel to a value obtained by dividing the first result value by the second result value.
  • the first result value is the sum of the products of 1) depth and 2) similarity for the target pixel of each of the neighboring pixels.
  • the second result value is the sum of the similarities for the target pixel of each of the neighboring pixels.
  • Color-depth similarity based filter 130 is similarity based on Equation 2 below Can be calculated.
  • C i may represent the color (or, pixel i 'of the color of the color image corresponding to the pixel i) of the pixel i.
  • C j may represent the color of the pixel j (or, a color of the color pixel j 'of the image pixels corresponding to j).
  • z i u may represent the depth of pixel i .
  • z j u may represent the depth of pixel j .
  • P i may represent a position within the up-scaled depth image of pixel i .
  • P j may represent a position within the up-scaled depth image of pixel j .
  • the color-depth similarity based filter 130 1) the color of the neighboring pixel (or the pixel of the color image corresponding to the neighboring pixel).
  • the similarity with respect to the target pixel of the neighboring pixel may be determined based on one or more.
  • the color-depth similarity based filter 130 may apply a clipping operation to the target pixel, as shown in Equation 3 below.
  • the clipping operation may be performed whenever color-depth similarity based filtering is applied to the up-scaled depth image.
  • t may mean the number of times the color-depth similarity based filtering is repeated.
  • z i t + 1 may represent the updated depth of pixel i when color-depth similarity based filtering is repeated t times.
  • z j t + 1 may represent the updated depth of pixel j when color-depth similarity based filtering is repeated t times.
  • the pixel i may represent a pixel selected as the target pixel.
  • Pixel j may represent one of the neighboring pixels of pixel i .
  • Z j U may represent the depth before the update of pixel j . May indicate the depth of the pixel j in the time-scaled depth images was first generated in-updated previous depth of the pixel j is by interpolation in step 210 Up.
  • the color-depth similarity based filter 130 may update the target pixel within a range of minimum value and maximum value.
  • the minimum value may be the smallest of the depths before the update of each of the neighboring pixels of the target pixel.
  • the maximum value may be the largest depth of the depths before the update of each of the neighboring pixels of the target pixel.
  • the depth of the specific pixel is the maximum depth and the minimum of the depths of neighboring pixels in the periphery of the specific pixel. Can be adjusted between depths.
  • the window of the target pixel when applying the color-depth similarity based filter to the target pixel may be different from the window of the target pixel when applying the clipping operation to the target pixel. Further, neighboring pixels of the target pixel when applying a color-depth similarity based filter to the target pixel may be different from neighboring pixels of the target pixel when applying a clipping operation to the target pixel.
  • FIG. 4 illustrates an operation of sharpening a boundary between objects in an up-scaled depth image by a boundary sharpening filter according to an example.
  • Step 230 may include the following steps 410, 420, and 430.
  • the depth of the target pixel in the up-scaled depth image may be adjusted.
  • the color-depth similarity based filter 130 uses a weighted average method. There is no case where the weight (or similarity) between two pixels is zero. Thus, at the depth boundary at which the depths of each of the adjacent pixels vary, not only the exact depth but also the errored depth participate in the calculation of the weighted average with less weight. Therefore, it is difficult to estimate the exact depth of the target pixel only by the boundary sharpening filter 140.
  • the boundary sharpening filter 140 more clearly converts the depth boundary between the objects in the up-scaled depth image in the same manner as in Equation 4 below.
  • z i may represent the depth of the pixel i .
  • z j may represent the depth of pixel j .
  • the pixel i may represent a pixel selected as the target pixel.
  • Pixel j may represent one of the neighboring pixels of pixel i .
  • N i may represent a window centered on pixel i .
  • boundary sharpening filter 140 is a min-max filter. The operation of the boundary sharpening filter 140 according to the equation 4 will be described below.
  • the boundary sharpening filter 140 may identify the maximum depth and the minimum depth of the depths of each of the neighboring pixels of the target pixel.
  • the neighboring pixels may be pixels in a window centered on a target pixel among pixels in the up-scaled depth image.
  • the boundary sharpening filter 140 may determine whether the target pixel is in a boundary region between objects in the depth image. If the target pixel is in a boundary area between objects in the depth image, step 430 may be performed. If the target pixel is not in the boundary area between the objects in the depth image, the boundary sharpening filtering for the target pixel may end.
  • the boundary sharpening filter 140 may determine that the target pixel is within the boundary area when the difference between the maximum depth and the minimum depth is greater than a predetermined threshold.
  • the boundary sharpening filter 140 may update the depth of the target pixel to the maximum depth or the minimum depth. For example, the boundary sharpening filter 140 may replace the depth of the target pixel with a depth closer to the depth of the target pixel among the maximum depth and the minimum depth. If the depth of the target pixel is an average value of the maximum depth and the minimum depth, the boundary sharpening filter 140 may update the depth of the target pixel to the minimum depth or the maximum depth according to a setting.
  • FIG 5 illustrates a depth image before the minimum-maximum filter is applied and a depth image after the minimum-maximum filter is applied according to an example.
  • the depth image 510 before the minimum-maximum filter may be an up-scaled depth image after color-depth similarity based filtering is applied in step 220.
  • the depth image 520 after the minimum-maximum filter is applied may be an up-scaled depth image after boundary sharpening filtering is applied in step 230.
  • the depth image 520 after the minimum-maximum filter is applied may be one of data output by the image processing apparatus 100.
  • FIG. 6 illustrates hierarchical color-depth similarity based filtering according to an example.
  • a filter that is suitable for hardware implementation must: 1) be able to perform the same operation on multiple pixels to enable parallel processing, 2) use a small window, and 3) apply the filter repeatedly. Should be small. This is because the number of elements of hardware implementing the filter is proportional to the size of the window and the number of times the filter is repeatedly applied. On the other hand, the color-depth similarity based filter 130 exhibits high performance as the window size is large and the number of times the filter is repeatedly applied is large. Thus, color-depth similarity based filter 130 may operate hierarchically for a trade-off between suitability for hardware implementations and filtering capabilities.
  • the depth image up-scaler 110 sets the horizontal and vertical resolutions of the depth image to 2 n , respectively.
  • the resolution of the finally up-scaled depth image may be equal to the resolution of the color image.
  • the color-depth similarity based filter 130 may update the depth of the target pixels using only a small amount of computation.
  • a color image having the same resolution as that of the up-scaled depth image generated during the intermediate conversion process is required.
  • Such color images may be generated by down-sampling.
  • an initial color image included in the scene is called an original color image.
  • the original color image may have a higher resolution than the depth image.
  • the original color image down-sampler 120 may generate a color image by down-sampling the original color image to the resolution of the up-scaled depth image.
  • the scene may initially include a first depth image 610 and an original color image 660.
  • the depth image up-scaler 110 may generate the first up-scaled depth image 630 by up-scaling the first depth image 610. However, since the resolution of the first up-scaled depth image 630 is lower than the resolution of the original color image 660, the original color image down-sampler 120 may reduce the resolution by down-sampling the original color image 660.
  • One color image 620 may be generated.
  • the color-depth similarity based filter 130 may remove noise in the first up-scaled depth image 630 using the first up-scaled depth image 630 and the first color image 620. .
  • the first up-scaled depth image 630 from which the noise is removed becomes the second depth image 650 during the second transformation process.
  • the depth image up-scaler 110 may generate the second up-scaled depth image 670 by up-scaling the second depth image 650. Since the resolution of the second up-scaled depth image 670 and the resolution of the original color image 660 are the same, the color-depth similarity based filter 130 may use the original color image 660 as a color image as it is. have. The color-depth similarity based filter 130 may remove noise in the second up-scaled depth image 670 using the second up-scaled depth image 670 and the original color image 660. After the noise is removed, the boundary sharpening filter 140 can more clearly convert the boundary between the objects in the second up-scaled depth image 670.
  • FIG. 7 is a flowchart of an image processing method applying hierarchical color-depth similarity based filtering according to an example.
  • the scene includes depth information and initial image information.
  • Step 710 corresponds to step 210. Duplicate explanations are omitted.
  • the depth image up-scaler 110 may increase the resolution of the depth image by a constant ratio by up-scaling the depth image using interpolation.
  • the original color image down-sampler 120 may generate a color image by down-sampling the original color image to the resolution of the depth image.
  • the color image may be an image temporarily generated to apply the original color image down-sampling to the up-scaled depth image.
  • Step 730 corresponds to step 220. Duplicate explanations are omitted.
  • the image processing apparatus 100 may check whether the resolution of the up-scaled depth image is smaller than the resolution of the original color image. If the resolution of the up-scaled depth image is smaller than the resolution of the original color image, step 710 may be performed again since the depth image must be up-scaled again until it is the same size as the original color image.
  • step 750 may be performed since the depth image does not need to be up-scaled again, thus, steps 710, 720 and Step 730 may be performed repeatedly until the resolution of the up-scaled depth image is equal to the resolution of the original color image, that is, the depth image up-scaler 110, the original color image down-sampler ( 120 and the color-depth similarity based filter 130 may operate repeatedly until the resolution of the up-scaled depth image becomes equal to the resolution of the original color image.
  • Step 750 corresponds to step 230. Duplicate explanations are omitted.
  • Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상 처리를 위한 방법 및 장치가 제공된다. 씬은 저해상도의 깊이 영상 및 고해상도의 컬러 영상을 포함한다. 깊이 영상 업-스케일러는 보간을 사용하여 깊이 영상을 업-스케일링함으로써 깊이 영상의 해상도를 높인다. 컬러-깊이 유사성 기반 필터는 컬러 영상 및 업-스케일링된 깊이 영상을 사용하여 업-스케일링된 깊이 영상 내의 노이즈를 제거한다. 경계 첨예화 필터는 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환한다. 깊이 영상 업-스케일러, 컬러-깊이 유사성 기반 필터 및 경계 첨예화 필터에 의해 깊이 영상의 해상도는 컬러 양상의 해상도만큼 증가되며, 깊이 영상의 픽셀들 각각의 깊이가 조정된다.

Description

깊이 영상을 고해상도로 변환하는 방법 및 장치
아래의 실시예들은 영상 처리 방법 및 장치에 관한 것이다.
깊이 영상을 컬러 영상의 해상도에 맞추어 고해상도로 변환하는 방법 및 장치가 개시된다.
비행 시간(Time of Flight; ToF) 깊이 카메라는 실시간으로 씬(scene)의 2.5 차원(Dimension; D)의 깊이 정보를 제공한다. 그런데, ToF 카메라의 픽셀로 사용되는 포토다이오드(Photodiode)는 낮은 감도를 갖는다. 상기의 낮은 감도로 인하여, 픽셀 크기는 커져야 하며, 큰 픽셀로 인하여 Tof 카메라가 제공하는 이미지의 해상도가 낮아진다.
일반적으로, 깊이 카메라들은 컬러 정보를 획득할 수 없다. 따라서, 씬의 3차원 모델을 생성하기 위해서는, 별도의 컬러 카메라에 의해 컬러 정보가 획득되어야 한다. 또한, 컬러 카메라 및 깊이 카메라는 상호 기하학적으로 캘리브레이션(calibration)될 필요가 있다. 컬러 카메라의 시점 및 깊이 카메라의 시점을 서로 유사하게 하기 위해서는 빔 스플리터(Beam Splitter)와 같은 장치가 요구되고, 이러한 요구로 인해 카메라가 물리적으로 커지게 된다.
일 실시예는 깊이 영상에 깊이 영상 업-스케일링, 컬러-깊이 유사성 기반 필터링 및 경계 첨예화 필터링을 적용함으로써 상기 깊이 영상의 해상도를 향상시키고 깊이 영상 내의 픽셀들의 깊이를 개선하는 방법 및 장치를 제공할 수 있다.
일 실시예는 깊이 영상에 계층적인 컬러-깊이 유사성 기반 필터링을 적용하는 방법 및 장치를 제공할 수 있다.
일 측면에 있어서, 씬에 대한 깊이 영상 및 컬러 영상을 처리하는 방법에 있어서, 깊이 영상 업-스케일러가 보간을 사용하여 상기 깊이 영상을 업-스케일링함으로써 상기 깊이 영상의 해상도를 높이는 단계, 컬러-깊이 유사성 기반 필터가 상기 컬러 영상 및 상기 업-스케일링된 깊이 영상을 사용하여 상기 업-스케일링된 깊이 영상 내의 노이즈를 제거하는 단계 및 경계 첨예화 필터가 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계를 포함하고, 상기 업-스케일링된 깊이 영상의 해상도는 상기 컬러 영상의 해상도와 동일한, 영상 처리 방법이 제공된다.
상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이를 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들 및 상기 이웃 픽셀들 각각의 깊이들에 기반하여 갱신할 수 있다.
상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들일 수 있다.
상기 이웃 픽셀의 상기 대상 픽셀에 대한 유사도는 상기 이웃 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 및 상기 대상 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 간의 차이, 상기 이웃 픽셀의 깊이 및 상기 대상 픽셀의 깊이 간의 차이, 상기 이웃 픽셀의 위치 및 상기 대상 픽셀의 위치 간의 차이 중 하나 이상에 기반하여 결정될 수 있다.
상기 컬러-깊이 유사성 기반 필터는 상기 대상 픽셀의 깊이를 제1 결과 값을 제2 결과 값으로 나눈 값으로 갱신할 수 있다.
상기 제1 결과 값은 상기 이웃 픽셀들 각각의 깊이 및 상기 대상 픽셀에 대한 유사도의 곱들의 합일 수 있다.
상기 제2 결과 값은 상기 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들의 합일 수 있다.
상기 업-스케일링된 깊이 영상 내의 픽셀들은 순차적으로 대상 픽셀로서 선택되고, 갱신될 수 있다.
상기 대상 픽셀은 상기 이웃 픽셀들 각각의 이전에 갱신된 깊이들에 기반하여 1회 이상 반복하여 갱신될 수 있다.
상기 대상 픽셀은 최소 값 내지 최대 값의 범위 내에서 갱신될 수 있다. 상기 최소 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최소 깊이일 수 있다. 상기 최대 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최대 깊이일 수 있다.
상기 영상 처리 방법은, 씬에 대한 원본 컬러 영상을 상기 깊이 영상의 해상도로 다운-샘플링 함으로써 상기 컬러 영상을 생성하는 단계를 더 포함할 수 있다.
상기 해상도를 높이는 단계, 상기 컬러 영상을 생성하는 단계 및 상기 노이즈를 제거하는 단계는 상기 업-스케일링된 깊이 영상의 해상도가 상기 원본 컬러 영상의 해상도와 동일하게 될 때까지 반복적으로 수행될 수 있다.
상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계는, 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 이웃 픽셀들 각각의 깊이들 중 최대 깊이 및 최소 깊이를 식별하는 단계, 상기 대상 픽셀이 상기 깊이 영상 내의 객체들 간의 경계 영역 내에 있는지 여부를 판단하는 단계 및 상기 대상 픽셀이 상기 경계 영역 내에 있을 경우, 상기 대상 픽셀의 깊이를 상기 최대 깊이 및 상기 최소 깊이 중 상기 대상 픽셀의 깊이와 더 가까운 깊이로 치환하는 단계를 더 포함할 수 있다.
상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들일 수 있다.
상기 최대 깊이 및 상기 최소 깊이 간의 차이가 미리 지정된 문턱치보다 크면 상기 대상 픽셀은 상기 경계 영역 내에 있는 것으로 판단될 수 있다.
다른 일 측면에 있어서, 씬에 대한 깊이 영상 및 컬러 영상을 처리하는 영상 처리 장치에 있어서, 보간을 사용하여 상기 깊이 영상을 업-스케일링함으로써 상기 깊이 영상의 해상도를 높이는 깊이 영상 업-스케일러, 상기 컬러 영상 및 상기 업-스케일링된 깊이 영상을 사용하여 상기 업-스케일링된 깊이 영상 내의 노이즈를 제거하는 컬러-깊이 유사성 기반 필터 및 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 경계 첨예화 필터를 포함하고, 상기 업-스케일링된 깊이 영상의 해상도는 상기 컬러 영상의 해상도와 동일한, 영상 처리 장치가 제공된다.
상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이를 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들 및 상기 이웃 픽셀들 각각의 깊이들에 기반하여 갱신할 수 있다.
상기 컬러-깊이 유사성 기반 필터는 상기 대상 픽셀을 최소 값 내지 최대 값의 범위 내에서 갱신할 수 있다. 상기 최소 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최소 깊이일 수 있다. 상기 최대 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최대 깊이일 수 있다.
상기 영상 처리 장치는, 씬에 대한 원본 컬러 영상을 상기 깊이 영상의 해상도로 다운-샘플링 함으로써 상기 컬러 영상을 생성하는 원본 컬러 영상 다운-샘플러를 더 포함할 수 있다.
상기 깊이 영상 업-스케일러, 상기 원본 컬러 영상 다운-샘플러 및 상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상의 해상도가 상기 원본 컬러 영상의 해상도와 동일하게 될 때까지 반복적으로 동작할 수 있다.
상기 경계 첨예화 필터는, 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 이웃 픽셀들 각각의 깊이들 중 최대 깊이 및 최소 깊이를 식별하고, 상기 대상 픽셀이 상기 깊이 영상 내의 객체들 간의 경계 영역 내에 있는지 여부를 판단하고, 상기 대상 픽셀이 상기 경계 영역 내에 있을 경우, 상기 대상 픽셀의 깊이를 상기 최대 깊이 및 상기 최소 깊이 중 상기 대상 픽셀의 깊이와 더 가까운 깊이로 치환함으로써 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환할 수 있다.
상기 경계 첨예화 필터는 상기 최대 깊이 및 상기 최소 깊이 간의 차이가 미리 지정된 문턱치보다 크면 상기 대상 픽셀은 상기 경계 영역 내에 있는 것으로 판단할 수 있다.
깊이 영상에 깊이 영상 업-스케일링, 컬러-깊이 유사성 기반 필터링 및 경계 첨예화 필터링을 적용함으로써 상기 깊이 영상의 해상도를 향상시키고 깊이 영상 내의 픽셀들의 깊이를 개선하는 방법 및 장치가 제공된다.
깊이 영상에 계층적인 컬러-깊이 유사성 기반 필터링을 적용하는 장치 및 방법이 제공된다.
도 1은 일 실시예에 따른 영상 처리 장치의 구조도이다.
도 2는 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 3은 일 예에 따른 저해상도의 깊이 영상, 고해상도의 깊이 영상 및 고해상도의 컬러 영상을 도시한다.
도 4는 일 예에 따른 경계 첨예화 필터가 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계를 설명한다.
도 5는 일 예에 따른 최소-최대 필터가 적용되기 전의 깊이 영상 및 최소-최대 필터가 적용된 후의 깊이 영상을 도시한다.
도 6은 일 예에 따른 계층적인 컬러-깊이 유사성 기반 필터링을 설명한다.
도 7은 일 예에 따른 계층적인 컬러-깊이 유사성 기반 필터링을 적용하는 영상 처리 방법의 흐름도이다.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
씬은 깊이 영상 및 컬러 영상으로 표현될 수 있다. 깊이 영상은 하나 이상의 픽셀들을 포함한다. 깊이 영상의 하나 이상의 픽셀들은 각각 깊이(또는, 깊이를 나타내는 값)을 갖는다. 컬러 영상은 하나 이상의 픽셀들을 포함한다. 컬러 영상의 하나 이상의 픽셀들은 각각 컬러(또는, 컬러를 나타내는 값)을 갖는다. 이하, 깊이 및 깊이의 값은 동일한 의미로 사용될 수 있다. 예컨대, 픽셀의 깊이의 갱신은, 픽셀의 깊이 값을 변경함을 의미할 수 있다. 픽셀의 깊이를 다른 깊이로 갱신한다는 것은 픽셀의 깊이 값을 다른 깊이의 갚으로 변경한다는 것을 의미할 수 있다.
깊이 영상의 특정한 픽셀 및 컬러 영상의 특정한 픽셀은 씬 내의 동일한 영역(또는, 점(point))을 나타낼 수 있다. 동일한 영역을 나타내는 깊이 영상의 특정한 픽셀 및 컬러 영상의 특정한 픽셀은 서로 대응하는 픽셀들로 볼 수 있다. 깊이 영상의 해상도 및 컬러 영상의 해상도가 서로 상이한 경우, 깊이 영상 내의 픽셀들과 컬러 영상 내의 픽셀들 간에는 n:m의 대응 관계가 성립할 수 있다. 여기서, n 및 m은 각각 자연수이다. 컬러-깊이 카메라의 특성 상, 깊이 영상은 상대적으로 저해상도일 수 있고, 컬러 영상은 상대적으로 고해상도일 수 있다.
픽셀의 깊이 및 픽셀의 양안시차(disparity)는 서로 역 상관 관계를 갖는다. 따라서, 하기의 실시예에서 "깊이"는 "양안시차" 또는 "양안시차의 역수"로 대체될 수 있다. 또한, "뷰" 및 "씬"은 동일한 의미를 가질 수 있으며, 상호 교체되어 사용될 수 있다.
하나의 카메라가 깊이 카메라 및 컬러 카메라의 기능을 수행하기 위한 일 예로써, 하나의 센서(예를 들어 포토다이오드)가 깊이 측정을 위해 조사된(irradiated) 적외선(InfraRed; IR) 및 컬러 측정을 위한 가시광선을 센싱(sensing)할 수 있다. 씬의 컬러 및 깊이를 동일한 시점에서 센싱할 수 있는 카메라를 컬러-깊이 카메라로 칭한다.
도 1은 일 실시예에 따른 영상 처리 장치의 구조도이다.
영상 처리 장치(100)는 씬에 대한 깊이 영상 및 컬러 영상을 처리할 수 있다. 영상 처리 장치(100)는 깊이 영상을 컬러 영상의 해상도에 맞추어 고해상도로 변환할 수 있다.
영상 처리 장치(100)는 깊이 영상 업-스케일러(up-scaler)(110), 원본 컬러 영상 다운-샘플러(down-sampler)(120), 컬러-깊이 유사성 기반 필터(130), 경계 첨예화(sharpening) 필터(140)를 포함한다.
상기의 구성 요소들의 기능에 대하여, 도 2 내지 도 7을 참조하여 하기에서 상세히 설명된다.
도 2는 일 실시예에 따른 영상 처리 방법의 흐름도이다.
후술된 단계들(210, 220 및 230)에 의해, 씬에 대한 깊이 영상 및 컬러 영상이 처리될 수 있다. 깊이 영상의 해상도는 컬러 영상의 해상도보다 더 낮을 수 있으며, 단계들(210, 220 및 230)은 깊이 영상을 컬러 영상의 해상도에 맞추어 고해상도로 변환할 수 있다.
단계(210)에서, 깊이 영상 업-스케일러(110)는 보간(interpolation)을 사용하여 깊이 영상을 업-스케일링(up-scaling)함으로써 깊이 영상의 해상도를 높인다. 상기의 보간은 이중 선형(bilinear) 보간 또는 고등 차수(bicubic) 보간일 수 있다.
업-스케일링된 깊이 영상의 해상도는 컬러 영상의 해상도와 동일할 수 있다.
단계(220)에서, 컬러-깊이 유사성 기반 필터(130)는 컬러 영상 및 업-스케일링된 깊이 영상을 사용하여 업-스케일링된 깊이 영상 내의 노이즈를 제거한다. 즉, 컬러-깊이 유사성 기반 필터(130)가 컬러 영상 및 업-스케일링된 깊이 영상을 사용하여 수행하는 컬러-깊이 유사성 기반 필터링에 의해 업-스케일링된 깊이 영상 내의 노이즈가 제거될 수 있다. 또한, 컬러-깊이 유사성 기반 필터링에 의해 깊이 영상 내의 객체(object)들 간의 경계에서의 깊이가 더 정확하게 변환될 수 있다.
보간에 의해 생성된 업-스케일링된 깊이 영상 내에서, 객체들 간의 경계에 대응하는 픽셀의 깊이는 전경 객체의 깊이 및 배경의 깊이가 혼합되어 생성될 수 있다. 따라서, 객체들 간의 경계에 대응하는 픽셀의 깊이는 잘못된 값을 가질 수 있다.
컬러-깊이 유사성 기반 필터(130)는, 이웃한 2 개의 픽셀들의 컬러들이 서로 유사하고, 상기의 2 개의 픽셀들의 보간에 의해 생성된 깊이들도 서로 유사하면, 상기의 2 개의 픽셀들의 고해상도에서의 깊이들도 서로 유사할 것이라는 가정에 기반한 필터링을 수행할 수 있다.
객체는 전경(foreground)의 객체 및 배경(background)(또는, 배경의 객체)을 의미할 수 있다.
깊이가 더 정확하다는 것은 깊이 영상의 픽셀의 깊이가 상기 픽셀이 나타내는 피사체의 위치를 더 정확하게 나타낸다는 것을 의미할 수 있다.
단계(230)에서, 경계 첨예화 필터(140)가 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환한다. 즉, 경계 첨예화 필터(140)가 수행하는 경계 첨예화 필터링에 의해, 업-스케일링된 깊이 영상 내의 객체 경계에서의 깊이 모서리(edge)의 선명도(sharpness)가 증가된다.
도 3은 일 예에 따른 저해상도의 깊이 영상, 고해상도의 깊이 영상 및 고해상도의 컬러 영상을 도시한다.
저해상도의 깊이 영상(310)은 업-스케일링 되기 이전의 씬에 대한 깊이 영상이다. 고해상도의 깊이 영상(320)는 업-스케일링된 깊이 영상이다. 고해상도 컬러 영상(330)은 씬에 대한 컬러 영상이다. 도시된 것처럼, 저해상도의 깊이 영상(310)의 해상도는 고해상도 컬러 영상(330)의 해상도보다 낮으며, 업-스케일링에 의해 저해상도의 깊이 영상(310)은 고해상도의 깊이 영상(320)으로 변환된다.
고해상도의 깊이 영상(320) 및 고해상도의 컬러 영상(330)은 고해상도의 뷰(view)(340)를 구성할 수 있다. 고해상도의 뷰(view)(340)는 씬에 대한 컬러 정보 및 깊이 정보를 모두 포함하며, 3D 씬 모델 생성을 위해 사용될 수 있으며, 멀티(multi)-뷰를 생성하기 위한 입력 뷰로서 사용될 수 있다.
업-스케일링된 깊이 영상 및 컬러 영상은 컬러-깊이 유사성 기반 필터(130)로 입력될 수 있다.
업-스케일링된 깊이 영상 내의 픽셀들 각각의 깊이는 컬러-깊이 유사성 기반 필터(130)에 의해 갱신될 수 있다. 컬러-깊이 유사성 기반 필터(130)가 깊이를 갱신하려고 하는 픽셀을 대상(target) 픽셀로 명명한다.
또한, 업-스케일링된 깊이 영상 내에서, 대상 픽셀에 대한 이웃 픽셀들이 정의될 수 있다. 이웃 픽셀들은 대상 픽셀의 상기의 대상 픽셀을 포함한 주변 영역들을 나타낼 수 있다. 예컨대, 이웃 픽셀들은 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 특정한 크기의 윈도우(window)(또는, 영역) 내의 픽셀들일 수 있다.
업-스케일링된 깊이 영상 내의 픽셀들은, 컬러-깊이 유사성 기반 필터(130)에 의해, 순차적으로 대상 픽셀로서 선택 및 갱신될 수 있다. 또한, 컬러-깊이 유사성 기반 필터(130)는 복수 개의 대상 픽셀들 각각의 깊이들을 한 번에 병렬적으로 갱신할 수 있다.
컬러-깊이 유사성 기반 필터(130)는 대상 픽셀을 이웃 픽셀들 각각의 이전에 갱신된 깊이들에 기반하여 1회 이상 반복하여 갱신될 수 있다. 즉, 업-스케일링된 깊이 영상에 대한 컬러-깊이 유사성 기반 필터링은 1회 이상 반복하여 수행될 수 있다.
컬러-깊이 유사성 기반 필터(130)는, 하기의 수학식 1에서와 같이, 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이를 이웃 픽셀들 각각의 대상 픽셀에 대한 유사도 및 이웃 픽셀들 각각의 깊이들에 기반하여 갱신할 수 있다.
Figure PCTKR2012010206-appb-I000001
여기서, t는 컬러-깊이 유사성 기반 필터링이 반복된 횟수를 의미할 수 있다. z i 는 픽셀 i의 깊이를 나타낼 수 있다. z j 는 픽셀 j 의 깊이를 나타낼 수 있다. 픽셀 i는 대상 픽셀로 선택된 픽셀을 나타낼 수 있다. 픽셀 j는 픽셀 i의 이웃 픽셀들 중 하나의 픽셀을 나타낼 수 있다. W i 는 픽셀 i를 중심으로 갖는 윈도우를 나타낼 수 있다.
Figure PCTKR2012010206-appb-I000002
는 픽셀 i 및 픽셀 j 간의 유사도를 나타낼 수 있다. 즉,
Figure PCTKR2012010206-appb-I000003
는 이웃 픽셀 j의 대상 픽셀 i에 대한 유사도일 수 있다.
z j 1 은 업-스케일링된 깊이 영상 내의 픽셀 j의 깊이를 나타낼 수 있다.
컬러-깊이 유사성 기반 필터링이 첫 번째로 수행될 때(즉, t = 1일 때), z i 2 는 픽셀 i의 갱신된 깊이이다. 컬러-깊이 유사성 기반 필터(130)는 업-스케일링된 깊이 영상의 픽셀들 각각의 깊이들을 갱신한다. 갱신된 깊이들은 컬러-깊이 유사성 기반 필터링이 다시 반복해서 수행될 때(즉, t = 2 일때), 대상 픽셀의 깊이를 갱신하기 위한 이웃 픽셀들의 깊이로서 사용된다.
수학식 1에서 나타난 것처럼, 컬러-깊이 유사성 기반 필터(130)는 가중치 평균(weighted averaging) 연산을 수행하여 업-스케일링된 깊이 영상 내의 픽셀들 각각의 깊이들을 갱신할 수 있다. 가중치 평균 연산은, 이웃 픽셀들 각각의 깊이 및 가중치를 곱하고, 상기의 가중치가 곱해진 이웃 픽셀들 각각의 깊이들을 합한 값을 모든 이웃 픽셀들의 가중치들을 합한 값을 사용하여 정규화(normalization)하는 것을 의미한다. 여기서, 가중치는 이웃 픽셀의 대상 픽셀에 대한 유사도일 수 있다.
즉, 컬러-깊이 유사성 기반 필터(130)는 대상 픽셀의 깊이를 제1 결과 값을 제2 결과 값으로 나눈 값으로 갱신할 수 있다. 여기서, 제1 결과 값은 이웃 픽셀들 각각의 1) 깊이 및 2) 대상 픽셀에 대한 유사도의 곱들의 합이다. 제2 결과 값은 상기 이웃 픽셀들 각각의 대상 픽셀에 대한 유사도들의 합이다.
컬러-깊이 유사성 기반 필터(130)는 하기의 수학식 2에 기반하여 유사도
Figure PCTKR2012010206-appb-I000004
를 계산할 수 있다.
Figure PCTKR2012010206-appb-I000005
여기서, C i 는 픽셀 i의 컬러(또는, 픽셀 i에 대응하는 컬러 영상의 픽셀 i'의 컬러)를 나타낼 수 있다. C j 는 픽셀 j의 컬러(또는, 픽셀 j에 대응하는 컬러 영상의 픽셀 j'의 컬러)를 나타낼 수 있다. z i u 는 픽셀 i의 깊이를 나타낼 수 있다. z j u 는 픽셀 j의 깊이를 나타낼 수 있다. P i 는 픽셀 i의 업-스케일링된 깊이 영상 내에서의 위치를 나타낼 수 있다. P j 는 픽셀 j의 업-스케일링된 깊이 영상 내에서의 위치를 나타낼 수 있다.
Figure PCTKR2012010206-appb-I000006
는 픽셀들의 컬러들 간의 차이를 가중치로 변환시키는데 필요한 상수를 나타낸다.
Figure PCTKR2012010206-appb-I000007
는 픽셀들의 깊이들 간의 차이를 가중치로 변환시키는데 필요한 상수를 나타낸다.
Figure PCTKR2012010206-appb-I000008
는 픽셀들의 위치들 간의 차이를 가중치로 변환시키는데 필요한 상수를 나타낸다.
수학식 2에서 나타난 것처럼, 픽셀 i가 대상 픽셀이고, 픽셀 j가 이웃 픽셀일 때, 컬러-깊이 유사성 기반 필터(130)는 1) 이웃 픽셀의 컬러(또는, 이웃 픽셀에 대응하는 컬러 영상의 픽셀) 및 대상 픽셀의 컬러(또는, 대상 픽셀에 대응하는 컬러 영상의 픽셀) 간의 차이, 2) 이웃 픽셀의 깊이 및 대상 픽셀의 깊이 간의 차이 및 3) 이웃 픽셀의 위치 및 대상 픽셀의 위치 간의 차이 중 하나 이상에 기반하여 이웃 픽셀의 대상 픽셀에 대한 유사도를 결정할 수 있다.
컬러-깊이 유사성 기반 필터링이 반복적으로 수행될 경우, 대상 픽셀의 깊이는 초기에 업-스케일링된 깊이 영상 내에서의 대상 픽셀의 초기 깊이와 매우 다르게 될 수 있다. 이러한 현상을 방지하기 위해, 컬러-깊이 유사성 기반 필터(130)는 하기의 수학식 3과 같은 클리핑(clipping) 연산을 대상 픽셀에 적용할 수 있다. 상기의 클리핑 연산은 컬러-깊이 유사성 기반 필터링이 업-스케일링된 깊이 영상에 적용될 때마다 수행될 수 있다.
Figure PCTKR2012010206-appb-I000009
여기서, t는 컬러-깊이 유사성 기반 필터링이 반복된 횟수를 의미할 수 있다. z i t+1 는 컬러-깊이 유사성 기반 필터링이 t 번 반복되었을 때 픽셀 i의 갱신된 깊이를 나타낼 수 있다. z j t+1 는 컬러-깊이 유사성 기반 필터링이 t 번 반복되었을 때 픽셀 j의 갱신된 깊이를 나타낼 수 있다. 픽셀 i는 대상 픽셀로 선택된 픽셀을 나타낼 수 있다. 픽셀 j는 픽셀 i의 이웃 픽셀들 중 하나의 픽셀을 나타낼 수 있다. Z j U 는 픽셀 j의 갱신 이전의 깊이를 나타낼 수 있다. 픽셀 j의 갱신 이전의 깊이는 단계(210)에서 보간에 의해 업-스케일링된 깊이 영상이 처음으로 생성되었을 때의 픽셀 j의 깊이를 의미할 수 있다.
수학식 3에서 나타난 것처럼, 컬러-깊이 유사성 기반 필터(130)는 대상 픽셀을 최소 값 내지 최대 값의 범위 내에서 갱신할 수 있다. 최소 값은 대상 픽셀의 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 가장 작은 깊이일 수 있다. 최대 값은 대상 픽셀의 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 가장 큰 깊이일 수 있다.
상술된 클리핑(clipping) 연산에 의해, 특정한 픽셀에 컬러-깊이 유사성 기반 필터링이 반복되어 적용되어도, 상기의 특정한 픽셀의 깊이는 상기의 특정한 픽셀의 주변에 있는 이웃 픽셀들의 깊이들 중 최대 깊이 및 최소 깊이 사이에서 조절될 수 있다.
대상 픽셀에 컬러-깊이 유사성 기반 필터를 적용할 때의 상기 대상 픽셀의 윈도우는, 상기의 대상 픽셀에 클리핑 연산을 적용할 때의 상기 대상 픽셀의 윈도우와 서로 상이할 수 있다. 또한, 대상 픽셀에 컬러-깊이 유사성 기반 필터를 적용할 때의 상기 대상 픽셀의 이웃 픽셀들은, 상기의 대상 픽셀에 클리핑 연산을 적용할 때의 상기 대상 픽셀의 이웃 픽셀들과 서로 상이할 수 있다.
도 4는 일 예에 따른 경계 첨예화 필터가 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계를 설명한다.
단계(230)은 하기의 단계들(410, 420 및 430)을 포함할 수 있다.
하기의 단계들(410, 420 및 430)에 의해, 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이가 조절될 수 있다.
전술된 수학식 2를 참조하면, 컬러-깊이 유사성 기반 필터(130)는 가중치 평균 방식을 사용하는 것을 알 수 있다. 두 픽셀들 간의 가중치(또는, 유사도)가 0인 경우는 존재하지 않는다. 따라서, 인접한 픽셀들 각각의 깊이들이 변하는 깊이 경계에서는, 정확한 깊이뿐만 아니라 오류가 있는 깊이 또한 적은 가중치를 가진 채 가중치 평균의 계산에 참여한다. 따라서, 경계 첨예화 필터(140) 만으로 대상 픽셀의 정확한 깊이가 추정되기는 어렵다.
경계 첨예화 필터(140)는, 하기의 수학식 4에서와 같은 방식으로, 업-스케일링된 깊이 영상 내의 객체들 간의 깊이 경계를 더 선명하게 변환한다.
Figure PCTKR2012010206-appb-I000010
여기서, z i 는 픽셀 i의 깊이를 나타낼 수 있다. z j 는 픽셀 j 의 깊이를 나타낼 수 있다. 픽셀 i는 대상 픽셀로 선택된 픽셀을 나타낼 수 있다. 픽셀 j는 픽셀 i의 이웃 픽셀들 중 하나의 픽셀을 나타낼 수 있다. N i 는 픽셀 i를 중심으로 갖는 윈도우를 나타낼 수 있다.
수학식 4에 따르면, 경계 첨예화 필터(140)는 최소-최대(min-max) 필터이다. 수학식 4의 방식에 따른 경계 첨예화 필터(140)의 동작을 하기에서 설명한다.
단계(410)에서, 경계 첨예화 필터(140)는 대상 픽셀의 이웃 픽셀들 각각의 깊이들 중 최대 깊이 및 최소 깊이를 식별할 수 있다. 여기서, 이웃 픽셀들은 업-스케일링된 깊이 영상 내의 픽셀들 중 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들일 수 있다.
단계(420)에서, 경계 첨예화 필터(140)는 대상 픽셀이 깊이 영상 내의 객체들 간의 경계 영역 내에 있는지 여부를 판단할 수 있다. 대상 픽셀이 깊이 영상 내의 객체들 간의 경계 영역 내에 있는 경우, 단계(430)가 수행될 수 있다. 대상 픽셀이 깊이 영상 내의 객체들 간의 경계 영역에 있지 않는 경우, 대상 픽셀에 대한 경계 첨예화 필터링이 종료할 수 있다.
경계 첨예화 필터(140)는 최대 깊이 및 최소 깊이 간의 차이가 미리 지정된 문턱치보다 크면 대상 픽셀은 상기 경계 영역 내에 있는 것으로 판단할 수 있다.
단계(430)에서, 대상 픽셀이 경계 영역 내에 있는 경우, 경계 첨예화 필터(140)는 대상 픽셀의 깊이를 최대 깊이 또는 최소 깊이로 갱신할 수 있다. 예컨대, 경계 첨예화 필터(140)는 대상 픽셀의 깊이를 대상 픽셀의 깊이를 최대 깊이 및 최소 깊이 중 대상 픽셀의 깊이와 더 가까운 깊이로 치환할 수 있다. 대상 픽셀의 깊이가 최대 깊이 및 최소 깊이의 평균 값이라면, 경계 첨예화 필터(140)는 설정에 따라 대상 픽셀의 깊이를 최소 깊이 또는 최대 깊이로 갱신할 수 있다.
도 5는 일 예에 따른 최소-최대 필터가 적용되기 전의 깊이 영상 및 최소-최대 필터가 적용된 후의 깊이 영상을 도시한다.
최소-최대 필터 적용 전 깊이 영상(510)은 단계(220)에서 컬러-깊이 유사성 기반 필터링이 적용된 후의 업-스케일링된 깊이 영상일 수 있다.
최소-최대 필터 적용 후 깊이 영상(520)은 단계(230)에서 경계 첨예화 필터링이 적용된 후의 업-스케일링된 깊이 영상일 수 있다.
최소-최대 필터 적용 후 깊이 영상(520)은 영상 처리 장치(100)에 의해 출력되는 데이터 중 하나일 수 있다.
도 6은 일 예에 따른 계층적인 컬러-깊이 유사성 기반 필터링을 설명한다.
하드웨어로 구현되기에 적합한 필터는 1) 병렬 프로세싱이 가능하도록 복수 개의 픽셀들에 대한 동일한 연산을 수행할 수 있어야 하고, 2) 적은 크기의 윈도우를 사용해야 하고, 3) 필터가 반복적으로 적용되는 횟수가 작아야 한다. 왜냐하면, 필터를 구현하는 하드웨어의 요소(element)들의 개수는 윈도우의 크기 및 필터가 반복적으로 적용되는 횟수에 비례하기 때문이다. 반면, 컬러-깊이 유사성 기반 필터(130)는 윈도우의 크기가 크고, 필터가 반복적으로 적용되는 횟수가 클수록 높은 성능을 발휘한다. 따라서, 하드웨어 구현에 대한 적합성 및 필터링 성능 간의 트레이드-오프(trade-off)를 위해서, 컬러-깊이 유사성 기반 필터(130)는 계층적(hierarchical)으로 동작할 수 있다.
예컨대, 깊이 영상의 해상도를 컬러 영상의 해상도로 업-스케일링하기 위한 업 스케일링 비율이 가로 및 세로로 각각 2 n 라면, 깊이 영상 업-스케일러(110)가 깊이 영상의 가로 해상도 및 세로 해상도를 각각 2 배로 업-스케일링하는 변환을 n 번 수행함으로써 최종적으로 업-스케일링된 깊이 영상의 해상도가 컬러 영상의 해상도와 동일해질 수 있다. 이때, 단계(220) 및 단계(230)에서의 윈도우의 크기가 일정하게 유지되면, 초기의 업-스케일링 변환에서는 윈도우가 물리적으로 큰 영역을 커버(cover)하고, 막바지의 업-스케일링 변환에서는 윈도우가 물리적으로 작은 영역을 커버한다. 따라서, 평균적으로 더 큰 윈도우가 사용되는 효과가 획득될 수 있다.
또한, 초기의 업-스케일링 변환에 의해 생성된 업-스케일링된 깊이 영상 내에는, 적은 개수의 픽셀들만이 존재한다. 따라서, 컬러-깊이 유사성 기반 필터(130)는 적은 계산량만을 사용하여 대상 픽셀들의 깊이를 갱신할 수 있다.
계층적인 컬러-깊이 유사성 기반 필터링을 사용하기 위해서는, 중간 단계의 변환 과정에서 생성된 업-스케일링된 깊이 영상의 해상도와 동일한 해상도를 갖는 컬러 영상이 요구된다. 이러한 컬러 영상은 다운-샘플링에 의해 생성될 수 있다. 이하, 씬이 포함하는 초기의 컬러 영상을 원본 컬러 영상으로 명명한다. 상기의 원본 컬러 영상은 깊이 영상에 비해 높은 해상도를 가질 수 있다. 원본 컬러 영상 다운-샘플러(120)는 원본 컬러 영상을 업-스케일링된 깊이 영상의 해상도로 다운-샘플링함으로써 컬러 영상을 생성할 수 있다.
씬은 초기에 제1 깊이 영상(610) 및 원본 컬러 영상(660)을 포함할 수 있다.
1차 변환 과정에서, 깊이 영상 업-스케일러(110)는 제1 깊이 영상(610)을 업-스케일링함으로써 제1 업-스케일된 깊이 영상(630)을 생성할 수 있다. 그러나, 제1 업-스케일된 깊이 영상(630)의 해상도는 원본 컬러 영상(660)의 해상도 보다 낮으므로, 원본 컬러 영상 다운-샘플러(120)는 원본 컬러 영상(660)을 다운-샘플링함으로써 제1 컬러 영상(620)을 생성할 수 있다. 컬러-깊이 유사성 기반 필터(130)는 제1 업-스케일된 깊이 영상(630) 및 제1 컬러 영상(620)을 사용하여 제1 업-스케일된 깊이 영상(630) 내의 노이즈를 제거할 수 있다. 노이즈가 제거된 제1 업-스케일된 깊이 영상(630)은 2차 변환 과정에서 제2 깊이 영상(650)이 된다.
2차 변환 과정에서, 깊이 영상 업-스케일러(110)는 제2 깊이 영상(650)을 업-스케일링함으로써 제2 업-스케일된 깊이 영상(670)을 생성할 수 있다. 제2 업-스케일된 깊이 영상(670)의 해상도 및 원본 컬러 영상(660)의 해상도는 서로 동일하므로, 컬러-깊이 유사성 기반 필터(130)는 원본 컬러 영상(660)을 그대로 컬러 영상으로서 사용할 수 있다. 컬러-깊이 유사성 기반 필터(130)는 제2 업-스케일된 깊이 영상(670) 및 원본 컬러 영상(660)을 사용하여 제2 업-스케일된 깊이 영상(670) 내의 노이즈를 제거할 수 있다. 노이즈가 제거된 후, 경계 첨예화 필터(140)는 제2 업-스케일된 깊이 영상(670) 내의 객체들 간의 경계를 더 선명하게 변환할 수 있다.
도 7은 일 예에 따른 계층적인 컬러-깊이 유사성 기반 필터링을 적용하는 영상 처리 방법의 흐름도이다.
씬은 깊이 정보 및 초기 영상 정보를 포함한다.
단계(710)은 단계(210)에 대응한다. 중복되는 설명은 생략한다. 깊이 영상 업-스케일러(110)는 보간을 사용하여 깊이 영상을 업-스케일링함으로써 깊이 영상의 해상도를 일정한 비율로 높일 수 있다.
단계(720)에서, 원본 컬러 영상 다운-샘플러(120)는 원본 컬러 영상을 깊이 영상의 해상도로 다운-샘플링함으로써 컬러 영상을 생성할 수 있다. 여기서, 컬러 영상은 업-스케일링된 깊이 영상에 원본 컬러 영상 다운-샘플링을 적용하기 위해 임시적으로 생성된 영상일 수 있다.
단계(730)은 단계(220)에 대응한다. 중복되는 설명은 생략한다.
단계(740)에서, 영상 처리 장치(100)(또는, 원본 컬러 영상 다운-샘플러(120)는 업-스케일링된 깊이 영상의 해상도가 원본 컬러 영상의 해상도보다 더 작은가를 검사할 수 있다. 만약, 업-스케일링된 깊이 영상의 해상도가 원본 컬러 영상의 해상도보다 작다면, 깊이 영상은 원본 컬러 영상과 같은 크기가 될 때까지 재차 업-스케일링되어야 하므로 단계(710)가 다시 수행될 수 있다. 업-스케일링된 깊이 영상의 해상도 및 원본 컬러 영상의 해상도가 서로 동일하다면, 깊이 영상은 다시 업-스케일링될 필요가 없으므로 단계(750)가 수행될 수 있다. 따라서, 단계(710), 단계(720) 및 단계(730)은 업-스케일된 깊이 영상의 해상도가 원본 컬러 영상의 해상도외 동일하게 될 때까지 반복적으로 수행될 수 있다. 즉, 깊이 영상 업-스케일러(110), 원본 컬러 영상 다운-샘플러(120) 및 컬러-깊이 유사성 기반 필터(130)는 업-스케일된 깊이 영상의 해상도가 원본 컬러 영상의 해상도외 동일하게 될 때까지 반복적으로 동작할 수 있다.
단계(750)은 단계(230)에 대응한다. 중복되는 설명은 생략한다.
앞서 도 1 내지 도 6를 참조하여 설명된 본 발명의 일 실시예에 따른 기술적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (17)

  1. 씬에 대한 깊이 영상 및 컬러 영상을 처리하는 방법에 있어서,
    깊이 영상 업-스케일러가 보간을 사용하여 상기 깊이 영상을 업-스케일링함으로써 상기 깊이 영상의 해상도를 높이는 단계;
    컬러-깊이 유사성 기반 필터가 상기 컬러 영상 및 상기 업-스케일링된 깊이 영상을 사용하여 상기 업-스케일링된 깊이 영상 내의 노이즈를 제거하는 단계; 및
    경계 첨예화 필터가 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계
    를 포함하고,
    상기 업-스케일링된 깊이 영상의 해상도는 상기 컬러 영상의 해상도와 동일한, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이를 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들 및 상기 이웃 픽셀들 각각의 깊이들에 기반하여 갱신하고,
    상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들이고,
    상기 이웃 픽셀의 상기 대상 픽셀에 대한 유사도는 상기 이웃 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 및 상기 대상 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 간의 차이, 상기 이웃 픽셀의 깊이 및 상기 대상 픽셀의 깊이 간의 차이, 상기 이웃 픽셀의 위치 및 상기 대상 픽셀의 위치 간의 차이 중 하나 이상에 기반하여 결정되는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 컬러-깊이 유사성 기반 필터는 상기 대상 픽셀의 깊이를 제1 결과 값을 제2 결과 값으로 나눈 값으로 갱신하고,
    상기 제1 결과 값은 상기 이웃 픽셀들 각각의 깊이 및 상기 대상 픽셀에 대한 유사도의 곱들의 합이고,
    상기 제2 결과 값은 상기 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들의 합인, 영상 처리 방법.
  4. 제2항에 있어서,
    상기 업-스케일링된 깊이 영상 내의 픽셀들은 순차적으로 대상 픽셀로서 선택되고, 갱신되며,
    상기 대상 픽셀은 상기 이웃 픽셀들 각각의 이전에 갱신된 깊이들에 기반하여 1회 이상 반복하여 갱신되는, 영상 처리 방법.
  5. 제2항에 있어서,
    상기 대상 픽셀은 최소 값 내지 최대 값의 범위 내에서 갱신되고, 상기 최소 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최소 깊이이고, 상기 최대 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최대 깊이인, 영상 처리 방법.
  6. 제2항에 있어서,
    씬에 대한 원본 컬러 영상을 상기 깊이 영상의 해상도로 다운-샘플링 함으로써 상기 컬러 영상을 생성하는 단계
    를 더 포함하고,
    상기 해상도를 높이는 단계, 상기 컬러 영상을 생성하는 단계 및 상기 노이즈를 제거하는 단계는 상기 업-스케일링된 깊이 영상의 해상도가 상기 원본 컬러 영상의 해상도와 동일하게 될 때까지 반복적으로 수행되는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 단계는,
    상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 이웃 픽셀들 각각의 깊이들 중 최대 깊이 및 최소 깊이를 식별하는 단계;
    상기 대상 픽셀이 상기 깊이 영상 내의 객체들 간의 경계 영역 내에 있는지 여부를 판단하는 단계; 및
    상기 대상 픽셀이 상기 경계 영역 내에 있을 경우, 상기 대상 픽셀의 깊이를 상기 최대 깊이 및 상기 최소 깊이 중 상기 대상 픽셀의 깊이와 더 가까운 깊이로 치환하는 단계
    를 더 포함하고,
    상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들인, 영상 처리 방법.
  8. 제7항에 있어서,
    상기 최대 깊이 및 상기 최소 깊이 간의 차이가 미리 지정된 문턱치보다 크면 상기 대상 픽셀은 상기 경계 영역 내에 있는 것으로 판단되는, 영상 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  10. 씬에 대한 깊이 영상 및 컬러 영상을 처리하는 영상 처리 장치에 있어서,
    보간을 사용하여 상기 깊이 영상을 업-스케일링함으로써 상기 깊이 영상의 해상도를 높이는 깊이 영상 업-스케일러;
    상기 컬러 영상 및 상기 업-스케일링된 깊이 영상을 사용하여 상기 업-스케일링된 깊이 영상 내의 노이즈를 제거하는 컬러-깊이 유사성 기반 필터; 및
    상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하는 경계 첨예화 필터
    를 포함하고,
    상기 업-스케일링된 깊이 영상의 해상도는 상기 컬러 영상의 해상도와 동일한, 영상 처리 장치.
  11. 제10항에 있어서,
    상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 깊이를 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들 및 상기 이웃 픽셀들 각각의 깊이들에 기반하여 갱신하고,
    상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들이고,
    상기 이웃 픽셀의 상기 대상 픽셀에 대한 유사도는 상기 이웃 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 및 상기 대상 픽셀에 대응하는 상기 컬러 영상의 픽셀의 컬러 간의 차이, 상기 이웃 픽셀의 깊이 및 상기 대상 픽셀의 깊이 간의 차이, 상기 이웃 픽셀의 위치 및 상기 대상 픽셀의 위치 간의 차이 중 하나 이상에 기반하여 결정되는, 영상 처리 장치.
  12. 제11항에 있어서,
    상기 컬러-깊이 유사성 기반 필터는 상기 대상 픽셀의 깊이를 제1 결과 값을 제2 결과 값으로 나눈 값으로 갱신하고,
    상기 제1 결과 값은 상기 이웃 픽셀들 각각의 깊이 및 상기 대상 픽셀에 대한 유사도의 곱들의 합이고,
    상기 제2 결과 값은 상기 이웃 픽셀들 각각의 상기 대상 픽셀에 대한 유사도들의 합인, 영상 처리 장치.
  13. 제11항에 있어서,
    상기 업-스케일링된 깊이 영상 내의 픽셀들은 순차적으로 대상 픽셀로서 선택되고, 갱신되며,
    상기 대상 픽셀은 상기 이웃 픽셀들 각각의 이전에 갱신된 깊이들에 기반하여 1회 이상 반복하여 갱신되는, 영상 처리 장치.
  14. 제11항에 있어서,
    상기 컬러-깊이 유사성 기반 필터는 상기 대상 픽셀을 최소 값 내지 최대 값의 범위 내에서 갱신하고, 상기 최소 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최소 깊이이고, 상기 최대 값은 상기 이웃 픽셀들 각각의 갱신 이전의 깊이들 중 최대 깊이인, 영상 처리 장치.
  15. 제11항에 있어서,
    씬에 대한 원본 컬러 영상을 상기 깊이 영상의 해상도로 다운-샘플링 함으로써 상기 컬러 영상을 생성하는 원본 컬러 영상 다운-샘플러
    를 더 포함하고,
    상기 깊이 영상 업-스케일러, 상기 원본 컬러 영상 다운-샘플러 및 상기 컬러-깊이 유사성 기반 필터는 상기 업-스케일링된 깊이 영상의 해상도가 상기 원본 컬러 영상의 해상도와 동일하게 될 때까지 반복적으로 동작하는, 영상 처리 장치.
  16. 제10항에 있어서,
    상기 경계 첨예화 필터는, 상기 업-스케일링된 깊이 영상 내의 대상 픽셀의 이웃 픽셀들 각각의 깊이들 중 최대 깊이 및 최소 깊이를 식별하고, 상기 대상 픽셀이 상기 깊이 영상 내의 객체들 간의 경계 영역 내에 있는지 여부를 판단하고, 상기 대상 픽셀이 상기 경계 영역 내에 있을 경우, 상기 대상 픽셀의 깊이를 상기 최대 깊이 및 상기 최소 깊이 중 상기 대상 픽셀의 깊이와 더 가까운 깊이로 치환함으로써 상기 업-스케일링된 깊이 영상 내의 객체들 간의 경계를 더 선명하게 변환하고,
    상기 이웃 픽셀들은 상기 업-스케일링된 깊이 영상 내의 픽셀들 중 상기 대상 픽셀을 중심으로 갖는 윈도우 내의 픽셀들인, 영상 처리 장치.
  17. 제16항에 있어서,
    상기 경계 첨예화 필터는 상기 최대 깊이 및 상기 최소 깊이 간의 차이가 미리 지정된 문턱치보다 크면 상기 대상 픽셀은 상기 경계 영역 내에 있는 것으로 판단하는, 영상 처리 장치.
PCT/KR2012/010206 2011-11-29 2012-11-29 깊이 영상을 고해상도로 변환하는 방법 및 장치 Ceased WO2013081383A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/361,467 US9613293B2 (en) 2011-11-29 2012-11-29 Method and apparatus for converting depth image in high resolution

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110126074 2011-11-29
KR10-2011-0126074 2011-11-29
KR10-2012-0136381 2012-11-28
KR1020120136381A KR101978172B1 (ko) 2011-11-29 2012-11-28 깊이 영상을 고해상도로 변환하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2013081383A1 true WO2013081383A1 (ko) 2013-06-06

Family

ID=48535769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010206 Ceased WO2013081383A1 (ko) 2011-11-29 2012-11-29 깊이 영상을 고해상도로 변환하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2013081383A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2991038A1 (en) * 2014-09-01 2016-03-02 Samsung Electronics Co., Ltd Rendering apparatus and method
CN112837219A (zh) * 2021-01-14 2021-05-25 Oppo广东移动通信有限公司 图像处理方法、装置以及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050838A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 삼차원 영상 생성기 및 그 제어 방법
JP2010140476A (ja) * 2008-12-09 2010-06-24 Seiko Epson Corp 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム
JP2010218549A (ja) * 2009-03-17 2010-09-30 Mitsubishi Electric Research Laboratories Inc 深度画像をフィルタリングする方法
JP2011004396A (ja) * 2009-06-16 2011-01-06 Samsung Electronics Co Ltd ２次元映像の３次元映像への変換装置および方法
KR20110049383A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050838A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 삼차원 영상 생성기 및 그 제어 방법
JP2010140476A (ja) * 2008-12-09 2010-06-24 Seiko Epson Corp 画像処理方法、コンピューター読み取り可能な媒体および画像処理システム
JP2010218549A (ja) * 2009-03-17 2010-09-30 Mitsubishi Electric Research Laboratories Inc 深度画像をフィルタリングする方法
JP2011004396A (ja) * 2009-06-16 2011-01-06 Samsung Electronics Co Ltd ２次元映像の３次元映像への変換装置および方法
KR20110049383A (ko) * 2009-11-05 2011-05-12 삼성전자주식회사 영상 처리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2991038A1 (en) * 2014-09-01 2016-03-02 Samsung Electronics Co., Ltd Rendering apparatus and method
US9898853B2 (en) 2014-09-01 2018-02-20 Samsung Electronics Co., Ltd. Rendering apparatus and method
CN112837219A (zh) * 2021-01-14 2021-05-25 Oppo广东移动通信有限公司 图像处理方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
WO2010038941A2 (en) Apparatus and method of obtaining high resolution image
WO2016053067A1 (en) 3-dimensional model generation using edges
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
KR101978172B1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
WO2011087289A2 (en) Method and system for rendering three dimensional views of a scene
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2020017871A1 (ko) 영상 처리 장치 및 그 동작방법
CN110345875B (zh) 标定及测距方法、装置、电子设备及计算机可读存储介质
WO2023027268A1 (ko) 카메라-라이다 캘리브레이션 장치 및 방법
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
WO2011081226A1 (ko) 컬러 이미지를 그레이스케일 이미지로 변환하는 방법 및 이를 수행하는 프로그램이 기록된 기록매체
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2013009099A2 (ko) 블러 처리 장치 및 방법
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2015069063A1 (en) Method and system for creating a camera refocus effect
WO2018021657A1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
CN116309055A (zh) 图像的处理方法、装置、电子设备及存储介质
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14361467

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12853694

Country of ref document: EP

Kind code of ref document: A1