WO2012020977A2 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2012020977A2
WO2012020977A2 PCT/KR2011/005824 KR2011005824W WO2012020977A2 WO 2012020977 A2 WO2012020977 A2 WO 2012020977A2 KR 2011005824 W KR2011005824 W KR 2011005824W WO 2012020977 A2 WO2012020977 A2 WO 2012020977A2
Authority
WO
WIPO (PCT)
Prior art keywords
boundary
image
warped
area
labeling
Prior art date
Application number
PCT/KR2011/005824
Other languages
English (en)
French (fr)
Other versions
WO2012020977A3 (ko
Inventor
임화섭
김용선
이기창
이승규
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110079006A external-priority patent/KR20120014876A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/816,433 priority Critical patent/US20130266208A1/en
Publication of WO2012020977A2 publication Critical patent/WO2012020977A2/ko
Publication of WO2012020977A3 publication Critical patent/WO2012020977A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing apparatus and a method for warping a 2D image for generating a 3D image, and performing color inpainting on a hidden area.
  • the 3D image is implemented by providing images corresponding to different viewpoints corresponding to a plurality of viewpoints, such as a multi view image corresponding to a plurality of viewpoints or a left eye corresponding to two viewpoints. ) And stereoscopic images that provide right eye images.
  • the 3D image may be provided by being photographed or rendered from different viewpoints, or may be provided through view transforming through image processing on an already produced 2D image.
  • warping may be understood as collectively a process such as shifting that applies a deformation to each area of a color image in consideration of a distance from a viewpoint.
  • the quality of the viewpoint change is not high due to the inaccuracy of color in the process of color inpainting the hidden region in which the color information does not exist in the warped color image.
  • an image processing apparatus and method for improving color inpainting quality of an occlusion region that is disoccluded during a warping process to provide an error-free view transformed image are provided.
  • a boundary detection unit for detecting a boundary of a covered area of a warped color image corresponding to a first time point, and a boundary labeling unit for labeling the detected boundary as one of a foreground area border and a background area border
  • An image processing apparatus is provided.
  • the image processing apparatus may shift the at least a portion of an input color image corresponding to the second view corresponding to the first view by using the input depth image corresponding to the second view, and display the warped image on the boundary detector. It may further include an image warping provided in.
  • the boundary labeling unit performs second derivative of the input depth image, and uses the second derivative result on the boundary of the covering area of the warped color image corresponding to the first viewpoint. Label one of the foreground and background region boundaries.
  • the boundary labeling unit may use a Laplacian operator when performing the second derivative of the input depth image.
  • the boundary labeling unit based on the second differential result, the foreground area boundary and the background area boundary according to whether the boundary of the covering area of the warped color image corresponding to the first viewpoint is a falling edge or a rising edge. It can be labeled with either.
  • the boundary labeling unit is detected by using a dot product of a gradient vector of the input depth image and an occlusion direction vector of the warped color image.
  • the boundary can be labeled as either a foreground region border or a background region border.
  • the boundary labeling unit may label at least a portion of the detected boundary in which the inner product is negative as the foreground area boundary, and may label at least a portion of the detected boundary in which the inner product is positive as the background area boundary.
  • the boundary labeling unit increases the reliability weight of the dot product as the magnitude of at least one scalar value of the gradient vector of the input depth image and the covering direction vector of the warped color image is larger.
  • the boundary labeling unit the higher the inner similarity with the inner product calculated corresponding to the peripheral point of the first point of the calculated point corresponding to the first point of the detected boundary, The reliability weight of the inner product calculated corresponding to the first point is increased.
  • the image processing apparatus by using a labeling result for the boundary of the bordered area of the warped color image, inpainting the covered area of the warped color image from the background area boundary direction to the foreground area boundary direction (
  • the method may further include an inpainting direction determiner configured to determine an inpainting direction.
  • the image processing apparatus may further include an inpainting unit configured to generate a color image as a result of restoring a color value of a covered area of the warped color image by performing color inpainting in the determined inpainting direction.
  • an inpainting unit configured to generate a color image as a result of restoring a color value of a covered area of the warped color image by performing color inpainting in the determined inpainting direction.
  • the inpainting direction determiner may include an edge strength of the detected boundary, a depth value of the input depth image corresponding to an area covered by the warped color image, and the warped color image The inpainting direction is determined based on at least one of the distances to the detected boundary of the covered area of.
  • the boundary detection unit detects a boundary of a covered region of the warped image using Morphological Operation, and / or a covered region of the warped image using Chain Code technique. Detect the boundary of
  • a boundary detecting step of detecting a boundary of a covered area of a warped color image corresponding to a first time point, and a boundary for labeling the detected boundary as one of a foreground area border and a background area border An image processing method is provided, including a labeling step.
  • FIG 1 illustrates an image processing apparatus according to an embodiment of the present invention.
  • FIG 2 illustrates an example color image and depth image input to an image processing apparatus according to an embodiment of the present invention.
  • FIG. 3 illustrates a warped color image including a hidden region exposed by warping the color image of FIG. 2 in accordance with an embodiment of the present invention.
  • FIG. 4 illustrates a result of extracting a boundary of a covering area from the warped image of FIG. 3 by the image processing apparatus according to an exemplary embodiment.
  • FIG. 5 is a conceptual diagram illustrating a process of labeling a boundary of a hidden area of FIG. 4 by an image processing apparatus according to an exemplary embodiment.
  • FIG. 6 is a conceptual diagram illustrating a process of performing labeling on a boundary of a hidden area of FIG. 4 by an image processing apparatus according to another exemplary embodiment.
  • FIG. 7 is a conceptual diagram illustrating a process of determining a boundary value of a covering area according to an embodiment of the present invention.
  • FIG. 8 illustrates how boundary labeling of a covering area is performed according to an embodiment of the present invention.
  • FIG. 9 illustrates a process of determining a color inpainting direction by an image processing apparatus according to an exemplary embodiment.
  • FIG. 10 illustrates a result of color inpainting a hidden region of the warped color image of FIG. 3 by color inpainting according to an embodiment of the present invention.
  • FIG. 11 illustrates an exemplary color image input to an image processing apparatus according to an embodiment of the present invention.
  • FIG. 12 illustrates a process of inpainting a hidden region of a warped color image corresponding to the color image of FIG. 11, according to an exemplary embodiment.
  • FIG 13 illustrates an image processing method according to an embodiment of the present invention.
  • FIG 1 illustrates an image processing apparatus 100 according to an embodiment of the present invention.
  • the image processing apparatus 100 warps the input color image in consideration of a viewpoint distance between a second viewpoint corresponding to the input depth image and the color image and a first viewpoint which is a target viewpoint for generating the viewpoint change image ( and an image warping unit 110 for warping.
  • the depth value identified by the depth image may be used to determine the degree of shifting in the warping process.
  • the boundary detector 120 of the image processing apparatus 100 extracts a boundary of an occlusion region that is disoccluded from the warped color image.
  • various conventional image processing techniques for extracting an area boundary may be used. Various embodiments thereof will be described later in more detail with reference to FIG. 4.
  • the boundary labeling unit 130 of the image processing apparatus 100 performs labeling by determining whether each boundary of the extracted boundary is a boundary with a foreground area or a background area.
  • the inpainting direction determiner 140 of the image processing apparatus 100 determines the inpainting direction in a boundary direction in contact with the foreground area in a boundary direction in contact with the background area.
  • the inpainting unit 150 of the image processing apparatus 100 performs color inpainting according to the determined inpainting direction.
  • a plurality of layers in the hidden area may be represented by varying the priority of color inpainting at each boundary part, and the related content will be described later in more detail with reference to FIGS. 11 to 12.
  • FIG 2 illustrates an example color image and depth image input to an image processing apparatus according to an embodiment of the present invention.
  • the input depth image 210 is an image photographed at a second time point using a depth camera using infrared light (IR) or the like, and has a difference in brightness depending on a distance from the second time point. Seems. Since the foreground area 211 is closer from the second viewpoint than the background area 212, it is represented with a bright value.
  • IR infrared light
  • the input color image 220 is an image photographed at the second time point using a normal color camera and includes color information corresponding to the input depth image 220.
  • the colors of the foreground area 221 and the background area 222 are different from each other.
  • the resolution of the input depth image 210 and the input color image 220 may be different due to a difference in resolution between the depth camera and the color camera.
  • the two images may not be exactly matched pixel by pixel.
  • image matching between the input depth image 210 and the input color image 220 may be preceded. However, this description will be omitted. It is assumed that the image 210 and the input color image 220 are exactly matched with respect to the same second viewpoint.
  • the image warping unit 110 of the image processing apparatus 100 performs depth-based image warping.
  • the image warping unit 110 may determine the foreground area 221 of the color image 220 in consideration of the depth value of the depth image 210 and the distance between the first and second viewpoints. Shift.
  • the first viewpoint is a target viewpoint to be generated by the viewpoint transformation. For example, if the second view corresponds to the right eye view, the first view may correspond to the left eye view.
  • the shifting can be omitted or very small.
  • FIG. 3 illustrates a warped color image 300 comprising a hidden area exposed by warping the color image of FIG. 2 in accordance with an embodiment of the present invention.
  • the color image warped by the image warping unit 110 includes a shifted foreground area 310, a background area 320, and a hidden area 331 and 332.
  • the hidden areas 331 and 332 are background areas hidden behind the foreground area 310, respectively, there is no color information.
  • the cover areas 331 and 332 are parts to be supplemented in the process of generating a first viewpoint color image as a target viewpoint by warping a 2D color image to generate a stereoscopic image or a multi view image.
  • Color inpainting is a process of selecting an appropriate color that can be applied to the hidden areas 331 and 332 among the color information in the existing color image 220 and filling it in the hidden areas 331 and 332.
  • color inpainting is performed by copying and filling color values of neighboring pixels of the covering areas 331 and 332 in units of blocks of arbitrary sizes or shapes.
  • the color of the background area 320 is selected to accurately reflect the actual object information, but also the color of the foreground area 310 is copied to the hidden areas 331 and 332, thereby causing an error in the resultant image. It was.
  • the color of the background area 320 is used. Although it is a part that needs to be filled, an error may be generated by filling with the color of the foreground area 310.
  • the boundary labeling unit 130 is detected. Each boundary is labeled by determining whether the boundary is in contact with the foreground area 310 or whether it is in contact with the background area 332.
  • the boundary extraction according to the present embodiment will be described later in more detail with reference to FIG. 4, and the boundary labeling will be described below with reference to FIGS. 5 and 8.
  • the boundary detector 120 may generate a differential image by applying a second derivative operator to the input depth image 220 corresponding to the second viewpoint.
  • the boundary of the hidden area may be detected using the differential image. More details of the present embodiment will be described later with reference to FIG. 6.
  • FIG. 4 illustrates a result of extracting a boundary of a covering area from the warped image of FIG. 3 by the image processing apparatus according to an exemplary embodiment.
  • the boundary extractor 120 may detect the boundaries of the covering regions 331 and 332 using a conventional morphological operation method or a chain code technique.
  • the Morphological Operation method is a method of setting a boundary of a hidden region where a color value does not exist to a constant margin in consideration of a gradient of color values of each pixel of a warped color image 300, and using a chain code
  • the technique is a technique for extracting the boundary of an area by extending the pixels of the boundary portion sampled in a specific direction by chaining, all of which are well known to those skilled in the art of image processing.
  • the boundary of the region 331 covered by the boundary extractor 120 is the boundary 410, and the boundary of the region 332 is extracted as the boundary 420.
  • FIG. 5 is a conceptual diagram illustrating a process of labeling a boundary of a hidden area of FIG. 4 by an image processing apparatus according to an exemplary embodiment.
  • the boundary labeling unit 130 is a boundary with the foreground area 310 or a background area 320 for each part of the extracted boundaries 410 and 420. It determines whether or not, and performs labeling to identify it.
  • the boundary labeling unit 130 calculates a gradient vector of a depth value for each portion of the extracted boundaries 410 and 420 using the depth image 210. do.
  • This gradient vector of depth values can be computed collectively over the entirety of the depth image 210 and then optionally used in each portion of the extracted boundaries 410 and 420, or in the boundary labeling process, the boundaries 410 and 420) may be selectively calculated for the portion only.
  • the boundary labeling unit may calculate an occlusion direction vector facing the inside of the boundary 410 and 420 of the covering regions 331 and 332.
  • the gradient vector 511 of the calculated depth value and the covering direction vector 512 may face in opposite directions.
  • the gradient vector 521 and the obstruction direction vector 522 of the depth value may face a similar direction.
  • the boundary labeling unit 130 may calculate an inner product between the gradient vector of the depth value and the occlusion vector, for each portion of the extracted boundaries 410 and 420. .
  • the angle formed by the gradient vector and the occlusion vector of the depth value is 90 degrees or more, so that the boundary labeling unit 130 contacts the foreground region 310 with the boundary of the portion. Label it as
  • the boundary labeling unit 130 sets the boundary of the portion to the background region 320. Label by contact.
  • the boundary labeling unit 130 may identify a depth value in the unwarped input depth image 210 corresponding to each part of the covering areas 331 and 332, These depth values are compared with depth values outside the covered area in the warped depth image (not shown).
  • the boundary labeling unit 130 is a boundary contacting the foreground area 310. Otherwise, it may be labeled with a border that contacts the background area 320.
  • the boundary labeling unit 130 may adaptively perform the labeling in consideration of noise in the input depth image 210 or errors in other calculation processes. Otherwise, the frequency of boundary labeling changes can be very high, which can lead to errors.
  • the boundary labeling unit 130 may not only calculate the dot product calculated for the first point but also a result of the depth value comparison. Labeling around the first point may be considered. An outlier away from the labeling result of the neighboring point may be an error due to noise or an error in the calculation process, and in this case, the neighboring part may be labeled as it is.
  • the boundary labeling unit 130 calculates the gradient vector to determine whether the boundary is in contact with the foreground area 310 or the background area 320 with respect to the boundaries. It is not limited to this.
  • the boundary labeling unit 130 applies a second derivative to an input depth image, for example, applies a Laplacian operator to warp it, and then uses a foreground area (i) for the boundaries. It may be determined whether it is in contact with 310 or the background area 320. This embodiment will be described below in more detail with reference to FIG. 6.
  • FIG. 6 is a conceptual diagram illustrating a process of performing labeling on a boundary of a hidden area of FIG. 4 by an image processing apparatus according to another exemplary embodiment.
  • the boundary labeling unit 130 applies a Laplacian operator that is a second derivative to the original input depth image 220 before the viewpoint conversion.
  • the boundary labeling unit 130 determines whether the boundary portion is the foreground region boundary or the background region boundary by using the sign of each pixel in the second derivative image obtained by applying the second derivative operator to the input depth image 220. Can be determined.
  • the pixel value when the pixel value is negative, it may be determined as a foreground edge, and when it is positive, it may be determined as a background edge.
  • Depth-based warping is performed on the second derivative image in the same manner as the viewpoint change of the color image 210. In this case, the second derivative of each pixel is shifted together.
  • the boundary labeling unit 130 has information on whether each pixel of the warped color image 300 was a foreground edge or a rising edge before changing the viewpoint. It is determined whether the boundary portions (410 and 420 of FIG. 4) in the warped color image 300 are foreground region boundaries or background region boundaries.
  • FIG. 6 is a conceptual diagram illustrating a process of performing the above process on a depth value arranged in one dimension to help understand the second derivative.
  • the depth value is simplified to two levels of 1 or 0, and the derivative operator is used as [1 -2 1].
  • FIG. 6A illustrates a one-dimensional depth value of the originally input depth image before the viewpoint transformation.
  • the portion having a depth value of 1 corresponds to the foreground
  • the portion having a depth value of 0 corresponds to the background.
  • the boundary labeling unit 130 generates the differential value ⁇ D by applying the differential operator [1, -2, 1] to the depth values of FIG. b).
  • the differential value ⁇ D is -1 for the boundary portion which belongs to the foreground area and is in contact with the background area, and the differential value ⁇ D is 1 for the boundary part that belongs to the background area and is in contact with the foreground area.
  • the depth value D is warped according to the change of viewpoint to become Dw, and in this case, the derivative value ⁇ D is also warped.
  • ( ⁇ D) w with the differential value ⁇ D warped is shown in FIG. 6 (d).
  • the portion indicated by the dotted line in the warped result corresponds to the occlusion area, and the image processing apparatus 100 fills the color value of the occlusion area.
  • a second derivative operator for example, [0 1 0; 1 -4 1; 0 1 0] may be used.
  • Equation 1 shows an exemplary equation using Laplacian of Gaussian (LoG).
  • the boundary detection unit 120 may use a probability distribution model, which will be described later in more detail with reference to FIG. 7.
  • FIG. 7 is a conceptual diagram illustrating a process of determining a boundary value of a covering area according to an embodiment of the present invention.
  • the depth value there may be various embodiments of removing outliers, one of which refers to a probability distribution.
  • a probability model belonging to the foreground area and a probability model belonging to the background area are generated using the depth histogram of the pixel belonging to the foreground boundary and the depth histogram of the pixel belonging to the background boundary. do.
  • the adjacent area is divided into the front and background areas using a probability model belonging to the front and background areas.
  • MRF Markov Random Field
  • the Dp (lp) part of the equation is a data term of the depth value
  • the Vpq (lp, lq) part is a smoothing term, each of which can be understood as in the following equation.
  • boundary labeling unit 130 may increase the reliability of the labeling process according to various embodiments.
  • FIG. 8 illustrates how boundary labeling of a covering area is performed according to an embodiment of the present invention.
  • boundary labeling unit 130 the boundary portions that contact the background area 320 are labeled with the boundaries 811 and 812, and the boundary portions that contact the foreground area 310 are labeled with the boundaries 821 and 822.
  • FIG. 9 illustrates a process of determining a color inpainting direction by an image processing apparatus according to an exemplary embodiment.
  • the inpainting direction determiner 140 of the image processing apparatus 100 may have a foreground area 310 in a direction Boundary 811 and 812 labeled as a boundary with the Background area 320.
  • the color inpainting direction is determined in the direction of the boundaries 821 and 822 labeled with the boundary with.
  • the inpainting direction can be flexibly changed for each boundary portion.
  • FIG. 10 illustrates a result 1000 of color inpainting a hidden region of the warped color image of FIG. 3 by color inpainting according to an embodiment of the present invention.
  • the color inpainting unit 150 of the image processing apparatus 100 copies and fills color values in the inpainting direction determined by the inpainting direction determiner 140. Then, the color values of the background area 320 are naturally inpainted into the covering areas 331 and 332.
  • the resulting image 1000 is the result of this inpainting, and it can be observed that the colors of the covering regions 331 and 332 are restored.
  • the image 1000 corresponds to a first viewpoint, that is, a left eye image, which is a target viewpoint to be generated.
  • the image 1000 is provided together with the input color image 220 corresponding to the right eye image, so that the viewer can feel a 3D effect with a three-dimensional effect.
  • FIG. 11 illustrates an exemplary color image input to an image processing apparatus according to an embodiment of the present invention.
  • color values corresponding to a plurality of layers may be inpainted in the hidden region.
  • the first foreground area 1110 is closest to the viewpoint, the second foreground area 1120 is next, and the third foreground area 1130 is next.
  • the farthest part is the background area 1140.
  • the inpainting unit 150 performs inpainting by changing the order of each part.
  • FIG. 12 illustrates a process of inpainting a hidden region of a warped color image corresponding to the color image of FIG. 11, according to an exemplary embodiment.
  • the boundary detection unit 120 detects a boundary
  • the boundary labeling unit 130 distinguishes and labels a boundary in contact with the first foreground area 1110 or other boundary
  • the inpainting direction determination unit 140 The process of determining the inpainting direction is similar to that described above.
  • the inpainting unit 150 may include a portion having a high edge strength of a color or a depth value, a portion determined to be close to a viewpoint through a depth value of an input depth image, and a portion close to an extracted boundary. First, it will paint the color value of.
  • the intermediate result 1220 illustrates inpainting the color value of the second foreground region 1120 first, and the intermediate result 1230 then inpainting the third foreground region 1130. Shows that. In the inpainting process, the part which is already inpainted and the color value exists is skipped.
  • the color value of the background region 1140 is also inpainted, so that all black covering regions in the warped color image 1210 are restored.
  • FIG 13 illustrates an image processing method according to an embodiment of the present invention.
  • the image warping unit 110 of the image processing apparatus 100 warps the input color image corresponding to the second viewpoint to correspond to the first viewpoint.
  • Image warping is as described above with reference to FIGS. 2 and 3.
  • the boundary detector 120 of the image processing apparatus 100 detects a boundary of the covering area.
  • the description of the boundary detection process is as described above with reference to FIG. 4.
  • the boundary labeling unit 130 of the image processing apparatus 100 performs labeling by determining whether each boundary of the boundary is a boundary with a foreground area or a background area.
  • Embodiments such as a method by comparing the depth value in this process or a method of determining by the dot product of the depth value gradient vector and the covering direction vector are as described above with reference to FIGS. 5 to 8.
  • the inpainting direction determiner 140 of the image processing apparatus 100 determines the inpainting direction in the boundary direction in contact with the foreground area in the boundary direction in contact with the background area.
  • the process of determining the inpainting direction is as described above with reference to FIG. 9.
  • the inpainting unit 150 of the image processing apparatus 100 performs color inpainting according to the determined inpainting direction.
  • the process of expressing a plurality of layers in the covering area by changing the priority of color inpainting at each boundary portion is as described above with reference to FIGS. 11 to 12.
  • Method according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Abstract

영상 처리 장치가 제공된다. 영상 처리 장치의 경계 검출부는, 제1 시점에 대응하여 와핑된 칼라 영상의 가리움 영역의 경계를 검출하고, 영상 처리 장치의 경계 라벨링부는 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다.

Description

영상 처리 장치 및 방법
3D 영상 생성을 위해 2D 영상을 와핑(warping) 하고, 가리움 영역의 칼라 인패인팅을 수행하는 영상 처리 장치 및 방법에 연관된다.
최근 3D (3 Dimensional) 영상에 대한 관심이 높아지고 있다. 3D 영상의 경우, 복수 개의 시점에 대응하여, 서로 다른 시점에 대응하는 영상들을 제공함으로써 구현되는데, 복수 개의 시점에 대응하는 멀티 뷰(multi view) 영상이나, 두 개의 시점에 대응하는 좌안(left eye) 및 우안(right eye) 영상들을 제공하는 스테레오스코픽(stereoscopic) 영상이 이에 해당한다.
이러한 3D 영상의 경우, 서로 다른 시점에서 촬영되거나 렌더링 되어 제공되는 경우도 있으나, 이미 제작된 2D 이미지에 영상 처리를 통해 시점 변경(view transforming)을 통해 제공될 수도 있다.
이러한 영상 처리를 위해서는 2D 칼라 영상의 각 영역들을 시점과의 거리에 기초하여 와핑(warping) 하고, 칼라 정보가 존재하지 않는 가리움 영역(occlusion region)의 칼라 값을 인패인팅 하는 과정이 요구될 수 있다. 여기서, 와핑(warping)은 칼라 영상의 각 영역에 대해 시점과의 거리를 고려하여 변형을 가하는 시프팅(shifting) 등의 처리를 통칭하는 것으로 이해될 수 있다.
그런데, 종래의 경우 와핑된 칼라 영상 내에서 칼라 정보가 존재하지 않는 가리움 영역에 대해 칼라 인패인팅을 하는 과정에서 정확도가 떨어지는 등의 이유로 시점 변경의 품질이 높지 못하였다.
와핑 과정에서 드러나는(disoccluded) 가리움 영역(occlusion region)의 칼라 인패인팅 품질을 높여, 오류 없는 시점 변경 영상(view transformed image)을 제공하는 영상 처리 장치 및 방법이 제공된다.
와핑 과정에서 드러나는 가리움 영역 내에, 시점으로부터의 거리 레벨이 복수 개인 영역이 존재하는 경우에도, 오류 없이 자연스러운 칼라 인패인팅을 수행하는 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 제1 시점에 대응하여 와핑된 칼라 영상의 가리움 영역의 경계를 검출하는 경계 검출부, 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부를 포함하는, 영상 처리 장치가 제공된다.
상기 영상 처리 장치는, 제2 시점에 대응하는 입력 깊이 영상을 이용하여 상기 제2 시점에 대응하는 입력 칼라 영상의 적어도 일부를 상기 제1 시점에 대응하여 시프팅 하여 상기 와핑된 영상을 상기 경계 검출부에 제공하는 이미지 와핑부를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 상기 경계 라벨링부는, 상기 입력 깊이 영상을 2차 미분하고, 상기 2차 미분 결과를 이용하여 상기 제1 시점에 대응하여 와핑된 칼라 영상의 상기 가리움 영역의 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 한다.
여기서 상기 경계 라벨링부는, 상기 입력 깊이 영상을 2차 미분하는 경우, 라플라시안 오퍼레이터(Laplacian operator)를 이용할 수 있다.
그러면, 상기 경계 라벨링부는, 상기 2차 미분 결과를 이용하여 상기 제1 시점에 대응하여 와핑된 칼라 영상의 상기 가리움 영역의 경계가 폴링 에지인지 라이징 에지인지의 여부에 따라 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 경계 라벨링부는, 상기 입력 깊이 영상의 그래디언트 벡터(Gradient vector) 및 상기 와핑된 칼라 영상의 가리움 방향 벡터(Occlusion direction vector)의 내적을 이용하여, 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 할 수 있다.
한편, 상기 경계 라벨링부는, 상기 검출된 경계 중 상기 내적이 음수 인 적어도 일부를 상기 전경 영역 경계로 라벨링하고, 상기 검출된 경계 중 상기 내적이 양수인 적어도 일부를 상기 배경 영역 경계로 라벨링할 수도 있다.
본 발명의 일실시예에 따르면, 상기 경계 라벨링부는, 상기 입력 깊이 영상의 그래디언트 벡터 및 상기 와핑된 칼라 영상의 가리움 방향 벡터 중 적어도 하나의 스칼라 값의 크기가 클수록 상기 내적의 신뢰도 가중치를 높인다.
또한 본 발명의 다른 일실시예에 따르면, 상기 경계 라벨링부는, 상기 검출된 경계 중 제1 포인트에 대응하여 계산된 내적이 상기 제1 포인트의 주변 포인트에 대응하여 계산된 내적과 유사도가 높을수록 상기 제1 포인트에 대응하여 계산된 내적의 신뢰도 가중치를 높인다.
한편, 상기 영상 처리 장치는, 상기 와핑된 칼라 영상의 가리움 영역의 경계에 대한 라벨링 결과를 이용하여, 상기 배경 영역 경계 방향으로부터 상기 전경 영역 경계 방향으로 상기 와핑된 칼라 영상의 가리움 영역의 인패인팅(inpainting) 방향을 결정하는 인패인팅 방향 결정부를 더 포함할 수 있다.
또한, 상기 영상 처리 장치는, 상기 결정된 인패인팅 방향으로 칼라 인패인팅을 수행하여, 상기 와핑된 칼라 영상의 가리움 영역의 칼라 값을 복원한 결과 칼라 영상을 생성하는 인패인팅부를 더 포함할 수도 있다.
이 경우, 상기 인패인팅 방향 결정부는, 상기 검출된 경계의 에지 강도(Edge strength), 상기 와핑된 칼라 영상의 가리움 영역에 대응하는 상기 입력 깊이 영상의 깊이 값(Depth), 및 상기 와핑된 칼라 영상의 가리움 영역의 상기 검출된 경계와의 거리 중 적어도 하나에 기초하여, 상기 인패인팅 방향을 결정한다.
한편, 본 발명의 일실시예에 따르면, 상기 경계 검출부는, Morphological Operation을 이용하여 상기 와핑된 영상의 가리움 영역의 경계를 검출하거나, 및/또는 Chain Code 기법을 이용하여 상기 와핑된 영상의 가리움 영역의 경계를 검출한다.
본 발명의 다른 일측에 따르면, 제1 시점에 대응하여 와핑된 칼라 영상의 가리움 영역의 경계를 검출하는 경계 검출 단계, 및 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링 단계를 포함하는, 영상 처리 방법이 제공된다.
와핑 과정에서 드러나는 가리움 영역의 칼라 인패인팅 품질을 높여, 오류 없는 시점 변경 영상이 제공된다.
와핑 과정에서 드러나는 가리움 영역 내에, 시점으로부터의 거리 레벨이 복수 개인 영역이 존재하는 경우에도, 오류 없이 자연스러운 칼라 인패인팅이 수행된다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상 및 깊이 영상을 도시한다.
도 3은 본 발명의 일실시예에 따라 도 2의 칼라 영상을 와핑하여 드러난 가리움 영역을 포함하는, 와핑된 칼라 영상을 도시한다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 도 3의 와핑된 영상으로부터 가리움 영역의 경계를 추출한 결과를 도시한다.
도 5는 본 발명의 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역의 경계에 라벨링을 수행하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 다른 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역의 경계에 라벨링을 수행하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 일실시예에 따라 가리움 영역의 경계 값을 결정하는 과정을 도시하는 개념도이다.
도 8은 본 발명의 일실시예에 따라 가리움 영역의 경계 라벨링이 수행된 모습을 도시한다.
도 9은 본 발명의 일실시예에 따른 영상 처리 장치가 칼라 인패인팅 방향을 결정하는 과정을 도시한다.
도 10은 본 발명의 일실시예에 따른 칼라 인패인팅에 의해 도 3의 와핑된 칼라 영상의 가리움 영역을 칼라 인패인팅 한 결과를 도시한다.
도 11는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상을 도시한다.
도 12은 본 발명의 일실시예에 따라 도 11의 칼라 영상에 대응하는 와핑된 칼라 영상의 가리움 영역을 인패인팅 하는 과정을 도시한다.
도 13은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
영상 처리 장치(100)는, 입력된 깊이 영상 및 칼라 영상에 대응하는 제2 시점과, 시점 변경 영상을 생성하고자 하는 목표 시점인 제1 시점 사이의 시점 거리를 고려하여, 입력 칼라 영상을 와핑(warping)하는 이미지 와핑부(110)를 포함한다. 이 과정에서 깊이 영상에 의해 식별되는 깊이 값이 와핑 과정에서의 시프팅 정도 판단에 활용될 수 있다.
이미지 와핑부(110)의 동작은 도 2 및 도 3을 참조하여 보다 상세히 후술한다.
그리고, 영상 처리 장치(100)의 경계 검출부(120)는 와핑된 칼라 영상에서 드러나는(disoccluded) 가리움 영역(occlusion region)의 경계를 추출한다. 이러한 경계 추출에는 영역 경계를 추출하는 종래의 다양한 영상 처리 기법들이 이용될 수 있다. 이에 관한 다양한 실시예는 도 4를 참조하여 보다 상세히 후술한다.
한편, 영상 처리 장치(100)의 경계 라벨링부(130)는 추출된 경계의 각 부분에 대해서, 전경 영역과의 경계인지 배경 영역과의 경계인지 여부를 판단하여 라벨링을 수행한다.
경계 라벨링부(130)의 동작 및 그 다양한 실시예는 도 5 내지 도 8을 참조하여 보다 상세히 후술한다.
경계 라벨링이 수행되면, 영상 처리 장치(100)의 인패인팅 방향 결정부(140)는 배경 영역과 접하는 경계 방향에서 전경 영역과 접하는 경계 방향으로 인패인팅 방향을 결정한다.
이러한 인패인팅 방향 결정부(140)의 동작은 도 9을 참조하여 보다 상세히 후술한다.
그리고, 영상 처리 장치(100)의 인패인팅부(150)는 결정된 인패인팅 방향에 따라 칼라 인패인팅을 수행한다. 이 과정에서, 각 경계 부분에서의 칼라 인패인팅의 우선 순위를 달리하여, 가리움 영역 내의 복수 개의 레이어를 표현할 수도 있으며, 관련 내용은 도 11 내지 도 12을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상 및 깊이 영상을 도시한다.
입력 깊이 영상(210)은 적외선(Infra Red, IR) 등을 사용하는 깊이 카메라(depth camera)를 이용하여, 제2 시점에서 촬영된 영상이며, 제2 시점으로부터 거리에 따라 밝기(bright)의 차이를 보인다. 전경 영역(211)은 배경 영역(212) 보다 제2 시점으로부터 더 가깝기 때문에, 밝은 값으로 표현되었다.
한편, 입력 칼라 영상(220)은 통상의 칼라 카메라를 이용하여, 상기 제2 시점에서 촬영된 영상이며, 상기 입력 깊이 영상(220)에 대응하는 칼라 정보를 포함한다. 전경 영역(221)과 배경 영역(222)의 칼라가 서로 다르게 구별되었다.
여기서, 깊이 카메라와 칼라 카메라의 해상도(resolution) 차이 등으로 인하여, 입력 깊이 영상(210)과 입력 칼라 영상(220)의 해상도가 다를 수 있다. 또한, 깊이 카메라와 칼라 카메라의 위치나 방향이 정확히 일치하지 못하여, 두 영상이 픽셀 별로(pixel by pixel) 정확히 매칭되지 않을 수도 있다.
이 경우, 필요에 따라서(if needed), 입력 깊이 영상(210)과 입력 칼라 영상(220) 사이의 이미지 매칭(matching)이 선행될 수도 있으나, 이러한 내용은 자세한 서술을 생략하며, 이하에서는 입력 깊이 영상(210)과 입력 칼라 영상(220)은 동일한 제2 시점에 대해 정확히 매칭되어 있는 것으로 가정한다.
영상 처리 장치(100)의 이미지 와핑부(110)는 깊이 기반의 영상 와핑(depth-based image warping)을 수행한다. 이를테면, 이미지 와핑부(110)는 상기 깊이 영상(210)의 깊이 값과, 제1 시점과 제2 시점 사이의 거리(distant between cameras)를 고려하여 칼라 영상(220)의 전경 영역(221)을 시프팅 한다. 상기 제1 시점은 시점 변환에 의해 생성하고자 하는 목표 시점이다. 이를테면, 제2 시점이 우안 시점(right eye view)에 대응한다면 제1 시점은 좌안 시점(left eye view)에 대응할 수 있다.
깊이 기반의 영상 와핑에서, 깊이 값이 클수록, 즉 제2 시점과의 거리가 가까울수록 더 크게 시프팅(shifting) 된다. 시점과의 거리가 가까울수록 시점 차이에 따른 디스패러티(disparity)가 크기 때문이다.
배경 영역(222)의 경우, 디스패러티가 매우 작기 때문에, 시프팅이 생략되거나 매우 작게 될 수 있다.
이하에서는 제2 시점에 대해 촬영된 입력 깊이 영상(210)을 이용하여, 깊이 기반으로 입력 칼라 영상(220)을 와핑(warping) 한 후, 본 발명의 실시예들에 의해 와핑된 칼라 영상 내의 가리움 영역을 인패인팅 하는 과정을 도 3 이하를 참조하여 상술한다.
도 3은 본 발명의 일실시예에 따라 도 2의 칼라 영상을 와핑하여 드러난 가리움 영역을 포함하는, 와핑된 칼라 영상(300)을 도시한다.
이미지 와핑부(110)에 의해 와핑된 칼라 영상은 시프팅된 전경 영역(310), 배경 영역(320) 및 가리움 영역(331 및 332)를 포함한다.
가리움 영역(331 및 332)는 각각 전경 영역(310) 뒤에 가려져 있던 배경 영역이므로 칼라 정보가 없다.
이러한 가리움 영역(331 및 332)은 2D 칼라 영상을 와핑하여 목표 시점인 제1 시점 칼라 영상을 생성하여 스테레오스코픽 영상 또는 멀티 뷰 영상을 만드는 과정에서 보완되어야 할 부분이다.
이러한 보완 중 대표적인 것이 상기한 칼라 인패인팅(color inpainting)이다. 칼라 인패인팅은, 기존에 존재하는 칼라 영상(220) 내의 칼라 정보 중, 가리움 영역(331 및 332)에 적용될 수 있는 적절한 칼라를 선택하여 이를 가리움 영역(331 및 332)에 채우는 과정이다.
종래의 방법에 의하면, 가리움 영역(331 및 332)의 주변 픽셀들의 칼라 값을 임의의 크기나 모양의 블록 단위로 복사하여 채움으로써 칼라 인패인팅을 수행하였다. 그러나, 이 경우, 실제 오브젝트 정보를 정확히 반영하여 배경 영역(320)의 칼라만 선택되는 것이 아니라, 전경 영역(310)의 칼라가 가리움 영역(331 및 332)으로 복사되어 결과 영상의 오류가 발생되기도 하였다.
특히, 가리움 영역(331)의 경우, 왼쪽이나 오른쪽 모두가 전경 영역(310)의 일부이므로, 왼쪽 픽셀들의 칼라를 복사하거나, 또는 오른쪽 픽셀들의 칼라를 복사하는 경우, 배경 영역(320)의 칼라로 채워져야 할 부분임에도 불구하고 전경 영역(310)의 칼라로 채워져서 오류가 발생될 수 있다.
따라서, 본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 경계 검출부(120)가 가리움 영역(331 및 332)의 경계(boundary)를 검출한 뒤, 경계 라벨링부(130)가 검출된 경계를 전경 영역(310)에 접하는 경계인지, 아니면 배경 영역(332)에 접하는 경계인지의 여부를 판단하여 각 경계를 라벨링 한다. 본 실시예에 따른 경계 추출에 관해서는 도 4 를 참조하여 보다 상세히 후술하고, 경계 라벨링에 관해서는 도 5 및 도 8을 참조하여 후술한다.
한편, 본 발명의 다른 일실시예에 따르면, 경계 검출부(120)는 제2 시점에 대응하는 입력 깊이 영상(220)에 2차 미분 연산자를 적용하여 미분 영상(differentiated image)를 생성할 수 있고, 이러한 미분 영상을 이용하여 가리움 영역의 경계를 검출할 수도 있다. 본 실시예에 대한 보다 상세한 내용은 도 6을 참조하여 후술한다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치가 도 3의 와핑된 영상으로부터 가리움 영역의 경계를 추출한 결과를 도시한다.
경계 추출부(120)는 종래의 Morphological Operation 방법이나, Chain Code 기법을 이용하여 상기 가리움 영역(331 및 332)의 경계를 검출할 수 있다.
Morphological Operation 방법은 와핑된 칼라 영상(300)의 각 픽셀의 칼라 값의 그래디언트(gradient)를 고려하여, 칼라 값이 존재하지 않는 가리움 영역의 경계를 일정한 마진(margin)으로 설정하는 방법이고, Chain Code 기법은, 특정 방향으로 샘플링된 경계 부분의 픽셀을 체인으로 연결해 나아가는 방식으로 확장함으로써 영역의 경계를 추출하는 기법으로서, 모두 영상 처리 분야의 통상의 지식을 가지는 자에게 잘 알려져 있다.
이렇게 경계 추출부(120)에 의해 가리움 영역(331)의 경계는 경계(410)으로, 그리고 가리움 영역(332)의 경계는 경계(420)으로 추출되었다.
도 5는 본 발명의 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역의 경계에 라벨링을 수행하는 과정을 설명하기 위한 개념도이다.
본 발명의 일실시예에 따르면, 경계 라벨링부(130)는 추출된 경계(410 및 420)의 각 부분에 대해, 전경 영역(310)과의 경계인지, 아니면 배경 영역(320)과의 경계인지 여부를 판단하여, 이를 식별할 수 있는 라벨링(labeling)을 수행한다.
본 발명의 일실시예에 따르면, 경계 라벨링부(130)는, 깊이 영상(210)을 이용하여, 추출된 경계(410 및 420)의 각 부분에 대해 깊이 값의 그래디언트 벡터(gradient vector)를 계산한다. 이러한 깊이 값의 그래디언트 벡터는 깊이 영상(210)의 전체에 대해 일괄적으로 계산된 후, 추출된 경계(410 및 420)의 각 부분에서 선택적으로 사용될 수 있으며, 또는 경계 라벨링 과정에서 경계(410 및 420) 부분에 대해서만 선별적으로 계산될 수도 있다.
그리고, 경계 라벨링부는 가리움 영역(331 및 332)의 경계(410 및 420)의 안쪽을 향하는 가리움 방향 벡터(occlusion direction vector)를 계산할 수 있다.
전경 영역(310)과 접하는 경계 부분(510)에서는, 계산된 깊이 값의 그래디언트 벡터(511)과 가리움 방향 벡터(512)가 서로 반대 방향을 향할 수 있다. 반면, 배경 영역(320)과 접하는 경계 부분(520)에서는, 깊이 값의 그래디언트 벡터(521)와 가리움 방향 벡터(522)가 유사한 방향을 향할 수 있다.
본 발명의 일실시예에 따르면, 경계 라벨링부(130)는, 추출된 경계(410 및 420)의 각 부분에 대해, 깊이 값의 그래디언트 벡터와 가리움 벡터 사이의 내적(inner product)를 계산할 수 있다.
이렇게 계산된 내적이 음수(negative value)인 부분에서는, 깊이 값의 그래디언트 벡터와 가리움 벡터가 이루는 각은 90도 이상이므로, 경계 라벨링부(130)는 해당 부분의 경계를 전경 영역(310)과 접하는 것으로 라벨링 한다.
한편, 계산된 내적이 양수(positive value)인 부분에서는, 깊이 값의 그래디언트 벡터와 가리움 벡터가 이루는 각은 90도 이하이므로, 경계 라벨링부(130)가 해당 부분의 경계를 배경 영역(320)과 접하는 것으로 라벨링 한다.
한편, 본 발명의 다른 일실시예에 따르면, 경계 라벨링부(130)는, 가리움 영역(331 및 332)의 각 부분에 대응하는, 와핑되지 않은 입력 깊이 영상(210) 내의 깊이 값을 식별하고, 이 깊이 값들을 와핑된 깊이 영상(도시 되지 않음)에서 가리움 영역 밖의 깊이 값들과 비교한다.
그리고, 경계 라벨링부(130)는 가리움 영역 내부에 해당하는 와핑되지 않은 깊이 영상에서의 깊이 값이, 와핑된 깊이 영상에서의 주변 깊이 값보다 작으면, 이를 전경 영역(310)과 접하는 경계로, 그렇지 않으면 배경 영역(320)과 접하는 경계로 라벨링 할 수도 있다.
한편, 이 과정에서, 경계 라벨링부(130)는 입력 깊이 영상(210) 내의 노이즈(noise)나, 기타 계산 과정에서의 오류를 고려하여 라벨링을 적응적으로 수행할 수 있다. 그렇지 않으면, 경계 라벨링이 바뀌는 빈도가 매우 높을 수 있으며, 이는 오류로 이어질 수 있다.
따라서, 본 실시예에 따르면, 경계 라벨링부(130)는 추출된 경계 중 제1 포인트에 대해 라벨링을 수행함에 있어서, 상기 제1 포인트에 대해 계산된 내적이나, 깊이 값 비교에 의한 결과뿐만 아니라, 제1 포인트 주변에 대한 라벨링을 고려할 수 있다. 주변 포인트의 라벨링 결과와 동떨어진 아웃라이어(outlier)는 노이즈에 의한 오류, 또는 계산 과정에서의 오류에 의한 것일 수 있으므로, 이 경우에는 이웃한 부분의 라벨링을 그대로 따르도록 할 수 있다.
한편, 이상의 실시예에서는 경계 라벨링부(130)가 상기 그래디언트 벡터를 계산하여 경계들에 대해 전경 영역(310)과 접하는 경계인지, 아니면 배경 영역(320)과 접하는 경계인지를 판단하였으나, 본 발명은 이에 국한되지 않는다.
본 발명의 다른 일실시예에 따르면, 경계 라벨링부(130)는 입력 깊이 영상에 대해 2차 미분을 적용하여, 이를테면 라플라시안 오퍼레이터(Laplacian operator)를 적용하여 이를 와핑한 다음 경계들에 대해 전경 영역(310)에 접한 것인지 아니면 배경 영역(320)에 접한 것인지를 판단할 수 있다. 이러한 실시예는 도 6을 참조하여 보다 상세히 후술한다.
도 6은 본 발명의 다른 일실시예에 따른 영상 처리 장치가 도 4의 가리움 영역의 경계에 라벨링을 수행하는 과정을 설명하기 위한 개념도이다.
본 실시예에서, 경계 라벨링부(130)는 시점 변환 전의 원본 입력 깊이 영상(original input depth image)(220)에 2차 미분 연산자인 라플라시안 오퍼레이터(Laplacian Operator)를 적용한다.
그리고, 경계 라벨링부(130)는 상기 입력 깊이 영상(220)에 2차 미분 연산자를 적용하여 얻어진 2차 미분 영상에서 각 픽셀의 부호를 이용하여 경계 부분이 전경 영역 경계인지, 아니면 배경 영역 경계인지를 판단할 수 있다.
예를 들어서, 2차 미분 영상에서 픽셀 값이 음수인 경우 전경 영역 경계(Falling Edge)로 판단하고, 양수인 경우는 배경 영역 경계 (Rising Edge)로 판단할 수 있다.
그리고, 상기 2차 미분 영상은 칼라 영상(210)의 시점 변경과 마찬가지로 깊이 기반의 와핑이 수행되며, 이 경우에 각 픽셀의 2차 미분값도 같이 시프트(Shift) 된다.
따라서, 경계 라벨링부(130)는 와핑된 칼라 영상(300)의 각 픽셀이 시점 변경 전에는 전경 영역 경계(Falling Edge)였는지, 아니면 배경 영역 경계 (Rising Edge)였는지의 정보를 가지고 있으며, 이러한 정보를 이용하여 와핑된 칼라 영상(300) 내의 경계 부분들(도 4의 410 및 420)에 대해 전경 영역 경계인지 아니면 배경 영역 경계인지를 판단한다.
도 6은 이러한 2차 미분 연산에 대한 이해를 돕기 위해 1차원으로 배열된 깊이 값(depth value)에 대해 상기와 같은 과정을 수행하는 과정을 도시한 개념도이다.
본 예시적 설명을 위해서, 깊이 값은 1 또는 0의 두 가지 레벨로 단순화 하였으며, 미분 연산자는 [1 -2 1]을 사용하였다.
도 6의 (a)는 시점 변환 전의 원래 입력된 깊이 영상의 1차원적 깊이 값을 나타낸다. 단순화된 깊이 값 D의 레벨에서 깊이 값이 1인 부분은 전경 영역(foreground)에 대응하고, 깊이 값이 0인 부분은 배경 영역(background)에 대응한다.
미분 연산자를 이용하는 본 실시예에 따르면 경계 라벨링부(130)가 도 6의 (a)의 깊이 값들에 대해 상기 미분 연산자 [1, -2, 1]을 적용하여 미분 값 ΔD를 생성한 결과가 (b)에 도시되었다.
도 6의 (b)에서는 전경 영역에 속하면서 배경 영역에 접하는 경계 부분은 미분 값 ΔD가 -1로 되었고, 배경 영역에 속하면서 전경 영역에 접하는 경계 부분은 미분 값 ΔD가 1로 되었다.
그리고, 도 (c)에서는 깊이 값 D가 시점 변경에 따라 와핑되어 Dw가 되었으며, 이 경우에 미분 값 ΔD도 와핑 된다. 미분 값 ΔD가 와핑된 (ΔD)w가 도 6의 (d)에 도시되었다.
와핑된 결과에서 점선으로 표시된 부분이 가리움 영역(occlusion)에 대응하며, 영상 처리 장치(100)는 이 가리움 영역의 칼라 값을 채우게 된다.
상술한 바와 같이 이상의 설명은 1차원의 예를 든 것이며, 실제 영상에 적용 시 2차 미분연산자 예를 들면 [ 0 1 0; 1 -4 1; 0 1 0]가 사용될 수 있다.
한편, 실제 적용에 있어서, 깊이 값의 차이가 크지 않거나, 깊이 값의 노이즈로 인해 깊이 값이 부정확한 경우에는, 이러한 2차 미분의 결과 자체만으로는 정확한 경계 구분이 되지 않을 수 있다.
본 발명의 일실시예에 따르면, 이러한 경우에는 Laplacian of Gaussian (LoG) 등을 이용하여 정확한 강직한 결과를 얻을 수 있다.
아래 수학식 1은 Laplacian of Gaussian (LoG)를 이용하는 예시적 수학식을 나타낸다.
Figure PCTKR2011005824-appb-I000001
또한, 본 발명의 일실시예에 따르면, 경계 값을 정확하게 추출하기 위해 경계 검출부(120)가 확률 분포 모델을 사용할 수도 있는데, 이는 도 7을 참조하여 보다 상세히 후술한다.
도 7은 본 발명의 일실시예에 따라 가리움 영역의 경계 값을 결정하는 과정을 도시하는 개념도이다.
깊이 값에 있어서, 아웃라이어(outlier)를 제거하는 방법에는 여러 가지 실시예가 있을 수 있는데, 이 중 하나가 확률 분포를 참고하는 방법이다.
서로 이웃한 부분에서는 깊이 값 분포가 유사하므로, 도 7과 같이 전경 경계에 속한 픽셀의 Depth Histogram과 배경 경계의 속한 픽셀의 Depth Histogram을 이용하여 전경 영역에 속할 확률과 배경 영역에 속할 확률 모델을 생성한다.
그리고, 이러한 전/배경 영역에 속할 확률 모델을 이용하여 인접 영역을 전/배경 영역으로 구분한다. 또한 보다 정확한 세그먼테이션(Segmentation)을 위해 아래와 같이 MRF(Markov Random Field) 모델을 이용할 수도 있으며 이는 Graph Cut을 이용해 최적화를 수행할 수 있다.
Figure PCTKR2011005824-appb-I000002
상기 수학식 중 Dp(lp) 부분은 깊이 값의 데이터 텀(data term)이며, Vpq(lp, lq) 부분은 스무딩 텀(smooth term)이며, 각각은 아래 수학식과 같이 이해될 수 있다.
Figure PCTKR2011005824-appb-I000003
한편, 미분 연산자를 적용하는 실시예가 아닌 그래디언트 벡터를 이용하는 실시예에서는 그래디언트 벡터의 내적 계산 시에 벡터 값이 클수록 더 신뢰할 수 있는 계산으로 인정하는 방법도 가능하다. 즉, 내적 값의 절대치(norm)이 클수록 결과를 신뢰할 수 있는 것이다.
그 밖에도, 경계 라벨링부(130)는 다양한 실시예에 의해, 이러한 라벨링 과정의 신뢰도를 높일 수 있다.
도 8은 본 발명의 일실시예에 따라 가리움 영역의 경계 라벨링이 수행된 모습을 도시한다.
경계 라벨링부(130)에 의해, 배경 영역(320)과 접하는 경계 부분은 경계(811 및 812)로 라벨링 되었고, 전경 영역(310)과 접하는 경계 부분은 경계(821 및 822)로 라벨링 되었다.
도 9은 본 발명의 일실시예에 따른 영상 처리 장치가 칼라 인패인팅 방향을 결정하는 과정을 도시한다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 인패인팅 방향 결정부(140)는 배경 영역(320)과의 경계로 라벨링된 경계(811 및 812) 방향에서, 전경 영역(310)과의 경계로 라벨링된 경계(821 및 822) 방향으로 칼라 인패인팅 방향을 결정한다.
이렇게 결정된 칼라 인패인팅 방향(910 및 920 등)이 도시되었다.
이 경우, 인패인팅 방향은, 각 경계 부분 마다 유동적으로 변경될 수 있다.
도 10은 본 발명의 일실시예에 따른 칼라 인패인팅에 의해 도 3의 와핑된 칼라 영상의 가리움 영역을 칼라 인패인팅 한 결과(1000)를 도시한다.
영상 처리 장치(100)의 칼라 인패인팅부(150)는 인패인팅 방향 결정부(140)에 의해 결정된 인패인팅 방향으로, 칼라 값을 복사해서 채워 나아간다. 그러면, 자연히 배경영역(320)의 칼라 값들이 가리움 영역(331 및 332)으로 인패인팅 된다.
결과 영상(1000)은 이렇게 인패인팅 된 결과로서, 가리움 영역(331 및 332)의 칼라가 복원되어 있는 것을 관찰할 수 있다. 이 결과 영상(1000)은 생성하고자 하는 목표 시점인 제1 시점, 이를테면 좌안 영상(left eye image)에 대응한다.
이 결과 영상(1000)이 우안 영상(right eye image)에 대응하는 입력 칼라 영상(220)과 함께 제공되어, 시청자는 입체감 있는 3D 효과를 느낄 수 있다.
도 11는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 예시적인 칼라 영상을 도시한다.
입력되는 영상의 특성에 따라서는, 가리움 영역에 복수개의 레이어(layer)에 대응하는 칼라 값들이 인패인팅 되어야 하는 경우도 있다.
예를 들어, 도 11에서 도시된 칼라 영상의 경우, 제1 전경 영역(1110)이 시점으로부터 가장 가깝고, 제2 전경 영역(1120)이 그 다음으로 가까우며, 그 다음은 제3 전경 영역(1130)이고, 그 뒤에 가장 먼 부분이 배경 영역(1140)이다.
이렇게 복수 개의 레이어로 구성된 칼라 영상의 경우, 와핑된 칼라 영상 내의 가리움 영역에 대해, 경계 검출과 라벨링에 의해 결정되는 인패인팅 방향으로 칼라 인패인팅을 하더라도, 각 레이어가 겹치는 부분에서는 오류가 발생될 수 있다.
따라서, 본 발명의 일실시예에 따르면, 인패인팅 방향 결정부(140)에 의해 칼라 인패인팅 방향이 정해지더라도, 인패인팅부(150)는 각 부분의 순서를 달리하여 인패인팅을 수행한다.
이 과정은 도 12을 참조하여 후술한다.
도 12은 본 발명의 일실시예에 따라 도 11의 칼라 영상에 대응하는 와핑된 칼라 영상의 가리움 영역을 인패인팅 하는 과정을 도시한다.
와핑된 칼라 영상(1210)에서는, 검게 표현된 가리움 영역이 드러나 있다. 제1 전경 영역(1110)이 시프팅되었기 때문이다.
이 경우, 경계 검출부(120)가 경계를 검출하고, 경계 라벨링부(130)가 제1 전경 영역(1110)과 접하는 경계나 그 외의 경계를 구별하여 라벨링 하고, 인패인팅 방향 결정부(140)가 인패인팅 방향을 결정하는 과정은 앞서 설명한 바와 유사하다.
그러나, 인패인팅부(150)는, 칼라나 깊이 값의 에지 강도(edge strength)가 높은 부분, 입력 깊이 영상의 깊이 값을 통해서 시점과 가까운 부분으로 판단되는 부분, 그리고, 추출된 경계와 가까운 부분의 칼라 값을 우선적으로 인패인팅 해 나아간다.
이러한 원칙에 따라, 중간 결과(1220)는 제2 전경 영역(1120)의 칼라 값을 먼저 인패인팅 한 것을 도시하고, 중간 결과(1230)는 그 다음으로 제3 전경 영역(1130)을 인패인팅 한 것을 도시한다. 인패인팅 과정에서는 이미 인패인팅 되어 칼라 값이 존재하는 부분은 스킵(skip) 한다.
그리고, 결과 영상(1240)에서는 배경 영역(1140)의 칼라 값이 마저 인패인팅 되어, 와핑된 칼라 영상(1210) 내의 검은색 가리움 영역이 모두 복원되었다.
도 13은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(1310)에서, 영상 처리 장치(100)의 이미지 와핑부(110)는 제2 시점에 대응하는 입력 칼라 영상을 제1 시점에 대응하도록 와핑한다. 이미지 와핑에 대해서는 도 2 및 도 3을 참조하여 상술한 바와 같다.
이렇게 이미지 와핑이 수행되면, 도 3에 도시된 바와 같이 가리움 영역이 드러난다.
그러면, 단계(1320)에서 영상 처리 장치(100)의 경계 검출부(120)는 가리움 영역의 경계를 검출한다. 경계 검출 과정에 대한 내용은 도 4를 참조하여 상술한 바와 같다.
그리고, 단계(1330)에서 영상 처리 장치(100)의 경계 라벨링부(130)는 경계의 각 부분에 대해서, 전경 영역과의 경계인지 배경 영역과의 경계인지 여부를 판단하여 라벨링을 수행한다. 이러한 과정에서 깊이 값의 비교에 의한 방법이나, 깊이 값 그래디언트 벡터와 가리움 방향 벡터의 내적에 의해 판단하는 방법 등의 실시예는 도 5 내지 도 8을 참조하여 상술한 바와 같다.
단계(1340)에서는 영상 처리 장치(100)의 인패인팅 방향 결정부(140)가 배경 영역과 접하는 경계 방향에서 전경 영역과 접하는 경계 방향으로 인패인팅 방향을 결정한다. 이러한 인패인팅 방향 결정 과정은 도 9을 참조하여 상술한 바와 같다.
단계(1350)에서는 영상 처리 장치(100)의 인패인팅부(150)가 결정된 인패인팅 방향에 따라 칼라 인패인팅을 수행한다. 이 과정에서, 각 경계 부분에서의 칼라 인패인팅의 우선 순위를 달리하여, 가리움 영역 내의 복수 개의 레이어를 표현하게 되는 과정 등은 도 11 내지 도 12을 참조하여 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (22)

  1. 제1 시점에 대응하여 와핑된 칼라 영상의 가리움 영역의 경계를 검출하는 경계 검출부;
    상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    제2 시점에 대응하는 입력 깊이 영상을 이용하여 상기 제2 시점에 대응하는 입력 칼라 영상의 적어도 일부를 상기 제1 시점에 대응하여 시프팅 하여 상기 와핑된 영상을 상기 경계 검출부에 제공하는 이미지 와핑부
    를 더 포함하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 경계 라벨링부는, 상기 입력 깊이 영상을 2차 미분하고, 상기 2차 미분 결과를 이용하여 상기 제1 시점에 대응하여 와핑된 칼라 영상의 상기 가리움 영역의 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는, 영상 처리 장치.
  4. 제3항에 있어서,
    상기 경계 라벨링부는, 상기 입력 깊이 영상을 2차 미분하는 경우, 라플라시안 오퍼레이터(Laplacian operator)를 이용하는, 영상 처리 장치.
  5. 제3항에 있어서,
    상기 경계 라벨링부는, 상기 2차 미분 결과를 이용하여 상기 제1 시점에 대응하여 와핑된 칼라 영상의 상기 가리움 영역의 경계가 폴링 에지인지 라이징 에지인지의 여부에 따라 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는, 영상 처리 장치.
  6. 제2항에 있어서,
    상기 경계 라벨링부는, 상기 입력 깊이 영상의 그래디언트 벡터(Gradient vector) 및 상기 와핑된 칼라 영상의 가리움 방향 벡터(Occlusion direction vector)의 내적을 이용하여, 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 경계 라벨링부는, 상기 검출된 경계 중 상기 내적이 음수인 적어도 일부를 상기 전경 영역 경계로 라벨링하고, 상기 검출된 경계 중 상기 내적이 양수인 적어도 일부를 상기 배경 영역 경계로 라벨링하는, 영상 처리 장치.
  8. 제6항에 있어서,
    상기 경계 라벨링부는, 상기 입력 깊이 영상의 그래디언트 벡터 및 상기 와핑된 칼라 영상의 가리움 방향 벡터 중 적어도 하나의 스칼라 값의 크기가 클수록 상기 내적의 신뢰도 가중치를 높이는, 영상 처리 장치.
  9. 제6항에 있어서,
    상기 경계 라벨링부는, 상기 검출된 경계 중 제1 포인트에 대응하여 계산된 내적이 상기 제1 포인트의 주변 포인트에 대응하여 계산된 내적과 유사도가 높을수록 상기 제1 포인트에 대응하여 계산된 내적의 신뢰도 가중치를 높이는, 영상 처리 장치.
  10. 제1항에 있어서,
    상기 와핑된 칼라 영상의 가리움 영역의 경계에 대한 라벨링 결과를 이용하여, 상기 배경 영역 경계 방향으로부터 상기 전경 영역 경계 방향으로 상기 와핑된 칼라 영상의 가리움 영역의 인패인팅(inpainting) 방향을 결정하는 인패인팅 방향 결정부
    를 더 포함하는, 영상 처리 장치.
  11. 제10항에 있어서,
    상기 결정된 인패인팅 방향으로 칼라 인패인팅을 수행하여, 상기 와핑된 칼라 영상의 가리움 영역의 칼라 값을 복원한 결과 칼라 영상을 생성하는 인패인팅부
    를 더 포함하는, 영상 처리 장치.
  12. 제10항에 있어서,
    상기 인패인팅 방향 결정부는, 상기 검출된 경계의 에지 강도(Edge strength), 상기 와핑된 칼라 영상의 가리움 영역에 대응하는 상기 입력 깊이 영상의 깊이 값(Depth), 및 상기 와핑된 칼라 영상의 가리움 영역의 상기 검출된 경계와의 거리 중 적어도 하나에 기초하여, 상기 인패인팅 방향을 결정하는, 영상 처리 장치.
  13. 제1항에 있어서,
    상기 경계 검출부는, Morphological Operation을 이용하여 상기 와핑된 영상의 가리움 영역의 경계를 검출하는, 영상 처리 장치.
  14. 제1항에 있어서,
    상기 경계 검출부는, Chain Code 기법을 이용하여 상기 와핑된 영상의 가리움 영역의 경계를 검출하는, 영상 처리 장치.
  15. 제1항에 있어서,
    상기 경계 검출부는, 상기 입력 깊이 영상을 2차 미분한 결과를 이용하여 상기 와핑된 영상의 가리움 영역의 경계를 검출하는, 영상 처리 장치.
  16. 제1 시점에 대응하여 와핑된 칼라 영상의 가리움 영역의 경계를 검출하는 경계 검출 단계; 및
    상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는 경계 라벨링 단계
    를 포함하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 경계 검출 단계에 앞서, 제2 시점에 대응하는 입력 깊이 영상을 이용하여 상기 제2 시점에 대응하는 입력 칼라 영상의 적어도 일부를 상기 제1 시점에 대응하여 시프팅 하여 상기 와핑된 영상을 제공하는 이미지 와핑 단계
    를 더 포함하는, 영상 처리 방법.
  18. 제17항에 있어서,
    상기 경계 라벨링 단계는,
    상기 입력 깊이 영상을 2차 미분하고, 상기 2차 미분 결과를 이용하여 상기 제1 시점에 대응하여 와핑된 칼라 영상의 상기 가리움 영역의 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는, 영상 처리 방법.
  19. 제17항에 있어서,
    상기 경계 라벨링 단계는, 상기 입력 깊이 영상의 그래디언트 벡터(Gradient vector) 및 상기 와핑된 칼라 영상의 가리움 방향 벡터(Occlusion direction vector)의 내적을 이용하여, 상기 검출된 경계에 대해 전경 영역 경계와 배경 영역 경계 중 어느 하나로 라벨링 하는, 영상 처리 방법.
  20. 입력 깊이 영상으로부터 전경 경계 및 배경 경계를 검출하는 경계 검출 단계;
    상기 전경 경계 및 배경 경계 중 적어도 하나의 깊이 값 또는 깊이 값 히스토그램을 이용하여 상기 입력 깊이 영상을 전경 영역과 배경 영역으로 분리하는 라벨링 단계
    를 포함하는, 영상 처리 방법.
  21. 제20항에 있어서,
    상기 입력 깊이 영상에 연관되며 제1 시점에 대응하는 입력 칼라 영상을 상기 제1 시점과 상이한 제2 시점으로 와핑하는 단계; 및
    상기 제1 시점에 대응하는 상기 입력 칼라 영상 및 상기 제2 시점으로 와핑된 입력 칼라 영상 중 적어도 하나의 배경 영역을 상기 라벨링 결과로부터 식별하여, 상기 배경 영역에 속하는 적어도 하나의 픽셀 값을 이용하여 상기 와핑 과정에서 발생하는 가리움 영역을 복원하는 단계
    를 더 포함하는, 영상 처리 방법.
  22. 제16항 내지 제21항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2011/005824 2010-08-10 2011-08-10 영상 처리 장치 및 방법 WO2012020977A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/816,433 US20130266208A1 (en) 2010-08-10 2011-08-10 Image processing apparatus and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2010-0076892 2010-08-10
KR20100076892 2010-08-10
KR1020110079006A KR20120014876A (ko) 2010-08-10 2011-08-09 영상 처리 장치 및 방법
KR10-2011-0079006 2011-08-09

Publications (2)

Publication Number Publication Date
WO2012020977A2 true WO2012020977A2 (ko) 2012-02-16
WO2012020977A3 WO2012020977A3 (ko) 2012-04-19

Family

ID=45568037

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005824 WO2012020977A2 (ko) 2010-08-10 2011-08-10 영상 처리 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2012020977A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005753A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040022100A (ko) * 2002-09-06 2004-03-11 임인성 2차원이미지에 대한 입체영상생성방법
US20090190852A1 (en) * 2008-01-28 2009-07-30 Samsung Electronics Co., Ltd. Image inpainting method and apparatus based on viewpoint change
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040022100A (ko) * 2002-09-06 2004-03-11 임인성 2차원이미지에 대한 입체영상생성방법
US20090190852A1 (en) * 2008-01-28 2009-07-30 Samsung Electronics Co., Ltd. Image inpainting method and apparatus based on viewpoint change
KR20090111939A (ko) * 2008-04-23 2009-10-28 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005753A1 (ko) * 2013-07-12 2015-01-15 삼성전자 주식회사 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치
CN105532001A (zh) * 2013-07-12 2016-04-27 三星电子株式会社 用于使用基于深度的视差矢量对视频进行层间解码的方法和设备以及用于使用基于深度的视差矢量对视频进行层间编码的方法和设备
CN105532001B (zh) * 2013-07-12 2018-11-30 三星电子株式会社 用于使用基于深度的视差矢量对视频进行层间编码方法以及解码方法和设备
US10154271B2 (en) 2013-07-12 2018-12-11 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector

Also Published As

Publication number Publication date
WO2012020977A3 (ko) 2012-04-19

Similar Documents

Publication Publication Date Title
KR20120014876A (ko) 영상 처리 장치 및 방법
US7403656B2 (en) Method and apparatus for recognition of character string in scene image
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
EP2329655A2 (en) Apparatus and method of obtaining high resolution image
JP6261266B2 (ja) 移動体検知装置
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2010008134A2 (en) Image processing method
JP6094775B2 (ja) ビデオコンテンツ処理方法及びシステム
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
WO2018093100A1 (en) Electronic apparatus and method for processing image thereof
WO2018066760A1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
WO2015111826A1 (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2022075772A1 (ko) 영상복원 방법 및 장치
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
US20110085026A1 (en) Detection method and detection system of moving object
US8300927B2 (en) Mouth removal method for red-eye detection and correction
WO2022092743A1 (ko) 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
WO2021246822A1 (ko) 객체 이미지 개선 방법 및 장치
WO2010107235A2 (ko) 다시점 영상 처리 방법 및 장치
WO2012020977A2 (ko) 영상 처리 장치 및 방법
WO2021071118A1 (ko) 전경 분리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11816593

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13816433

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11816593

Country of ref document: EP

Kind code of ref document: A2