WO2011155704A2 - 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법 - Google Patents

깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법 Download PDF

Info

Publication number
WO2011155704A2
WO2011155704A2 PCT/KR2011/002906 KR2011002906W WO2011155704A2 WO 2011155704 A2 WO2011155704 A2 WO 2011155704A2 KR 2011002906 W KR2011002906 W KR 2011002906W WO 2011155704 A2 WO2011155704 A2 WO 2011155704A2
Authority
WO
WIPO (PCT)
Prior art keywords
foreground
background
transition
depth
video
Prior art date
Application number
PCT/KR2011/002906
Other languages
English (en)
French (fr)
Other versions
WO2011155704A3 (ko
Inventor
안토니오오르테가
김우식
이석
이재준
위호천
이승신
Original Assignee
삼성전자주식회사
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 써던 캘리포니아 filed Critical 삼성전자주식회사
Priority to US13/703,544 priority Critical patent/US20140002596A1/en
Priority to EP11792615.4A priority patent/EP2582135A4/en
Publication of WO2011155704A2 publication Critical patent/WO2011155704A2/ko
Publication of WO2011155704A3 publication Critical patent/WO2011155704A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the following embodiments are directed to an apparatus and method for 3D video encoding / decoding using depth transition data.
  • the 3-D (Dimension) video system effectively performs 3-D video encoding using a depth image based rendering system (hereinafter referred to as a "DIBR system").
  • DIBR system depth image based rendering system
  • the depth map coding distortion of the compressed depth image causes erosion artifacts at the object boundaries, and image degradation occurs due to these erosion artifacts.
  • a 3D video encoding apparatus includes a transition position calculator for calculating a depth transition for each pixel position according to a viewpoint change, a quantizer for quantizing the position of the calculated depth transition, and the quantized depth. It includes a coding unit for coding the transition position.
  • the transition position calculator may calculate the depth transition data represented by using a view transition position for converting from foreground to background or from background to foreground.
  • the transition position calculation unit uses the pixel positions for converting from foreground to background or background to foreground occurring between neighboring reference views.
  • the data can be calculated.
  • the 3D video encoding apparatus may further include a foreground / background separation unit that is executed based on depth values of foreground objects and background objects in a reference video to separate the foreground and the background. Can be.
  • the foreground / background separator may separate the foreground and the background based on the overall movement of the background objects and the local movement of the foreground objects in the reference video.
  • the foreground / background separator may separate the foreground and the background based on an edge structure in the reference video.
  • the transition position calculator may calculate the depth transition data by measuring a transition distance from a given pixel position to a pixel position where a transition occurs from the foreground to the background or from the background to the foreground. .
  • the transition position calculator may calculate the depth transition data using internal or external camera parameters.
  • the 3D video encoding apparatus may further include a quantization unit that performs quantization based on the rendered precision of the 3D decoding system.
  • a 3D video decoding apparatus includes a decoding unit for decoding quantized depth transition data, an inverse quantizer for inverse quantizing depth transition data, and a distortion of a composite image using the decoded depth transition data. It includes a distortion correction unit for correcting the.
  • the decoding unit may be entropy decoded for transition pixel positions from foreground to background or from background to foreground.
  • the 3D video decoding apparatus may further include a foreground / background separation unit that is executed based on depth values of foreground objects and background objects in a reference video to separate the foreground and the background. Can be.
  • the distortion correction unit may correct the distortion by detecting pixels having a distortion greater than a reference value using the depth transition data.
  • the 3D video decoding apparatus calculates regional averages of the foreground area and the background area with reference to the foreground and background maps generated from the depth transition data, and compares the calculated averages to determine the transition area.
  • the apparatus may further include a transition region detector for detecting.
  • the distortion correction unit may replace the detected pixel value with a local average of the foreground or background region to which the pixel belongs according to the depth transition data.
  • the distortion correction unit may replace the detected pixel value with the closest pixel value belonging to the same foreground or background area according to the depth transition data.
  • a 3D video encoding method includes calculating a depth transition for each pixel position according to a view change, quantizing the position of the calculated depth transition, and coding the quantized depth transition position. It may include the step.
  • the step of calculating the depth transition may calculate the representative depth transition data using a view transition position that converts from foreground to background or from background to foreground. have.
  • the 3D video decoding method includes decoding the quantized depth transition data, dequantizing the depth transition data, and expanding the rendered view using the decoded depth transition data. It may include.
  • Decoding the quantized depth transition data in one aspect of the invention may be entropy decoding performed for transition pixel positions from foreground to background or from background to foreground.
  • Embodiments of the present invention can provide an improved 3D video encoding / decoding apparatus and method by adding depth transition data to MVD (video plus depth) data.
  • MVD video plus depth
  • the embodiment of the present invention can correct the depth map distortion.
  • an embodiment of the present invention may provide depth map information for all reference views by providing depth transition data applicable to multiple views at any position.
  • the embodiment of the present invention can reduce the erosion artifacts caused by the depth map distortion by using the proposed depth transition data, and can improve the image quality of the generated image.
  • embodiments of the present invention may improve absolute and relative 3D encoding / decoding quality by applying depth transition data to a composite image.
  • 1 is a diagram illustrating an example of coordinates according to a view of each cube object.
  • FIG. 2 is a diagram illustrating an example of depth transition data using a cube object illustrated in FIG. 1.
  • 3 is a diagram illustrating an example of depth transition data indicating transition from front to back.
  • FIG. 4 is a diagram illustrating a configuration of a 3D video encoder using depth transition data according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a configuration of a 3D video decoder using depth transition data according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a 3D video encoding method using depth transition data according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a 3D video decoding method using depth transition data according to an embodiment of the present invention.
  • FIG. 8 is a flow chart of a distortion correction procedure using depth transition data.
  • FIG. 9 is a diagram showing an example of a distortion curve comparing the case of using the depth transition data method according to the present invention and the conventional encoding method.
  • FIG. 10 is a diagram illustrating an example of quality comparison between a depth transition data method and a conventional encoding method according to the present invention.
  • the DIBR system renders the view among the available reference views.
  • a depth map according to the reference video is provided to improve the quality of the rendered view.
  • the reference video and depth map are compressed and coded nonstream.
  • Depth map coding distortion causes a relatively large degradation in quality and erosion artifacts along the foreground object boundary. Accordingly, the present invention proposes a method of reducing erosion artifacts by providing additional information for each intermediate rendered view.
  • an encoder aggregates views and transmits a residue between the synthesized view and the original captured video. This approach is not attractive because of the overhead incurred by increasing the desired number of possible interpolated views.
  • the present invention can provide auxiliary data that complements depth information that can provide improved rendering of multiple interpolation views.
  • 1 is a diagram illustrating an example of coordinates according to a view of each cube object.
  • the camera cube object moves the cube object to the left as the image frame increases as the index of the other horizontal and vertical images captured is increased.
  • FIG. 2 is a diagram illustrating an example of depth transition data using a cube object illustrated in FIG. 1.
  • the depth transition data is a foreground level and a background level according to the view index (v) when the pixel position is (10, 10), and the depth transition from the foreground to the background is performed. Or a depth transition from the background to the foreground.
  • a function of selecting an intermediate camera position for a given pixel position can generate the depth transition data by tracking what a depth value for a pixel is.
  • depth map data is provided compared to the prior art for all reference views, and the depth transition data proposed in accordance with the present invention is a single data set to improve rendering at any arbitrary view position. Can be created at once.
  • the depth transition data may be further improved according to the decoder capability of the rendering close position from the reference view position.
  • 3 is a diagram illustrating an example of depth transition data indicating transition from front to back.
  • the depth transition data for arbitrary view rendering may determine the foreground level and the background level according to each view index on the left or right at an arbitrary view position. It is possible to determine the transition position that changes from the background level to the foreground level at.
  • the pixel position may belong to the foreground in the left reference view and to the background in the right reference view.
  • the depth transition data may be in a form in which a transition position for each pixel position is recorded. If the arbitrary view is located to the left of the transition position the pixel will belong to the foreground, and if the arbitrary view is located to the right of the transition position the pixel will belong to the background. Therefore, using the depth transition data, the foreground / background map can generate any view position.
  • the depth maps for the intermediate views generate the depth transition data by a reference depth map value
  • a binary map using the same formula applied to the reference views can be generated. In this case, transition tracking is easy.
  • the depth maps are not always able to use the target view at any view position. Therefore, the present invention derives a method of estimating the depth transition position generated by using the camera parameters used as the camera position.
  • the depth transition data has camera parameters such as the notation shown in Table 1.
  • Camera coordinates (x, y, z) may be mapped to world coordinates (X, Y, Z) as in Equation 1.
  • a and M are intrinsic and extrinsic camera matrices, respectively, and M comprises a rotation matrix R and a translation vector T.
  • Image coordinates (xim, yim) may be represented by the camera coordinates as shown in Equation 2.
  • each pixel depth value can be mapped to a point in the pixel position in actual coordinates, which can be remapped to a set of other coordinates corresponding to the camera position of the rendered view.
  • the p th view of the camera parameters Ap, Rp, Tp may be mapped to the parameters Ap ', Rp', Tp 'of the p' th view, and the camera coordinates in the p 'th view are It can be represented by equation 3.
  • Z is a depth value
  • the image coordinate may be expressed by Equation 4 in the p'-th view.
  • Equation 6 the inverse of the matrix A can be calculated as shown in Equation 6.
  • Equation 4 may be expressed as Equation 7.
  • the spacing ⁇ xim may be expressed as Equation 8.
  • tx represents a camera distance in a horizontal direction.
  • knowing the camera distance tx can calculate the distance ⁇ xim, and knowing the distance can calculate the camera distance.
  • the horizontal distance as the horizontal distance can measure the correct view position to the position where the depth transition occurred from the given distance.
  • the horizontal distance may be measured by counting the number of pixels from the given pixel to the first pixel of the other depth map value relative to the original pixel exceeding a preset threshold value. Then, as shown in Equation 11 calculated as the separation degree ⁇ xim, the view position where the depth transition occurs may be estimated.
  • Tx may be quantized with the desired accuracy and transmitted as auxiliary data.
  • FIG. 4 is a diagram illustrating a configuration of a 3D video encoder using depth transition data according to an embodiment of the present invention.
  • the 3D video encoder 400 using depth transition data includes a foreground / background separator 410, a transition region detector 420, a transition distance measurer 430, The transition position calculator 440, the quantizer 450, and the entropy encoder 460 are included.
  • the foreground / background separator 410 receives a reference video / depth map and separates the foreground and the background from the input reference video / depth map. That is, the foreground / background separator 410 is executed based on the depth values of the foreground objects and the background objects in the reference video, and separates the foreground and the background. For example, the foreground / background separator 410 may separate the foreground and the background from the input reference video / depth map based on the foreground level or the background level as shown in FIGS. 2 and 3. For example, the foreground / background separator 410 may separate the input reference video / depth map data into the foreground when the input reference video / depth map data is the foreground level. As another example, the foreground / background separator 410 may separate the input reference video / depth map data into a background when the input reference video / depth map data is the background level.
  • the transition region detector 420 receives data from which the foreground and background are separated from the foreground / background separator 410 and detects the transition region by using the input foreground and background separation data. That is, the transition region detector 420 detects the transition region from the foreground to the background or from the background to the foreground using the input foreground and background separation data. For example, as illustrated in FIG. 2, the transition region detector 420 may detect a transition region that changes from the background level to the foreground level when the view index v is 3. As another example, as illustrated in FIG. 2, the transition region detector 420 may detect a transition region that changes from the foreground level to the background level when the view index v is 6.
  • the foreground / background separator 410 may separate the foreground and the background based on the overall motion of the background objects and the local motion of the foreground objects in the reference video.
  • the foreground / background separator 410 may separate the foreground and the background based on an edge structure in the reference video.
  • the transition distance measuring unit 430 measures the distance between the transition regions. That is, the transition distance measuring unit 430 measures the transition distance based on the transition region detected by the transition region detector 420. For example, the transition distance measuring unit 430 measures a transition distance from a given pixel position to a pixel position where a transition occurs from the foreground to the background or from the background to the foreground.
  • the transition position calculator 440 calculates a depth transition for each pixel position according to the view change. That is, the transition position calculator 440 calculates the representative depth transition data by using a view transition position that converts from the foreground to the background or the background to the foreground. For example, the transition position calculator 440 may calculate the depth transition data by using pixel positions for converting from foreground to background or background to foreground occurring between neighboring reference views. have.
  • the transition position calculator 440 may calculate the depth transition data by measuring a transition distance from a given pixel position to the pixel position where the transition occurs from the foreground to the background or from the background to the foreground.
  • the transition position calculator 440 may calculate the depth transition data using internal or external camera parameters.
  • the quantization unit 450 quantizes the calculated position of the depth transition. That is, the quantization unit 450 performs quantization based on the rendered precision of the 3D decoding system.
  • Entropy encoding unit 460 codes the quantized depth transition position.
  • FIG. 5 is a diagram illustrating a configuration of a 3D video decoder using depth transition data according to an embodiment of the present invention.
  • the 3D video decoder 500 using depth transition data may include a foreground / background separator 510, a transition region detector 520, an entropy decoder 530, and an inverse.
  • a quantizer 540 includes a foreground / background map generator 550 and a distortion corrector 560.
  • the foreground / background separator 510 is executed based on the depth values of the foreground objects and the background objects in the reference video to separate the foreground and the background. That is, the foreground / background separator 510 receives reference video / depth map data and separates the foreground and the background from the input reference video / depth map data according to the depth value.
  • the transition region detector 520 calculates regional averages of the foreground region and the background region with reference to the foreground and background maps generated from the depth transition data, and detects the transition region by comparing the calculated averages.
  • the entropy decoding unit 530 decodes the quantized depth transition data. That is, the entropy decoding unit 530 receives a bitstream transmitted from the encoding apparatus 400 and performs entropy decoding for the transition pixel position from the foreground to the background or the background to the foreground using the received bitstream. .
  • the inverse quantization unit 540 inversely quantizes the depth transition data. That is, the dequantization unit 540 dequantizes the entropy decoded depth transition data.
  • the foreground / background map generator 550 generates the foreground / background map using the transition region detected by the transition region detector 520 and the dequantized depth transition data output from the inverse quantizer 540.
  • the distortion corrector 560 corrects the distortion by expanding the rendered view using the dequantized depth transition data. That is, the distortion correction unit 560 corrects the distortion by detecting pixels having a distortion greater than a reference value using the depth transition data. For example, the distortion correction unit 560 may replace the detected pixel value with a local average of the foreground or background region to which the pixel belongs according to the depth transition data. As another example, the distortion correction unit 560 may replace the detected pixel value with the nearest pixel value belonging to the same foreground or background area according to the depth transition data.
  • FIG. 6 is a flowchart of a 3D video encoding method using depth transition data according to an embodiment of the present invention.
  • step 610 the 3D video encoder 400 generates a binary map of the foreground / background. That is, in operation 610, the 3D video encoder 400 separates the foreground from the background in the reference video through the foreground / background separator 410, and generates a binary map of the foreground / background.
  • step 620 the 3D video encoder 400 determines the transition region. That is, in step 620, the 3D video encoder 400 determines the transition region by calculating the depth transition for each pixel position according to the viewpoint change. For example, in operation 620, the 3D video encoder 400 determines the foreground / background area by comparing the foreground / background map of the neighbor reference view through the transition area detector 420. If the 3D video encoder 400 belongs to the foreground at the reference time point and belongs to the background at the other reference time point or vice versa, the 3D video encoder 400 may determine the position as the transition area. The depth transition region is calculated for the transition region, and the viewpoint position is transferred.
  • the 3D video encoder 400 measures the transition distance. That is, in operation 630, the 3D video encoder 400 measures the distance from the current pixel position to the potential position in the current reference view as the transition distance through the transition distance measuring unit 430. For example, in a one-dimensional parallel camera model, this distance can be measured by counting the number of pixels from the given pixel to the first pixel for a depth map with a different value for the original pixel that exceeded a preset reference value.
  • step 640 the 3D video encoder 400 calculates the transition region.
  • representative depth transition data is calculated using a view transition position that converts from foreground to background or from background to foreground.
  • the 3D video encoder 400 may calculate the transition generation time point obtained by using Equation 11 through the transition position calculator 440.
  • step 650 the 3D video encoder 400 quantizes the position of the calculated depth transition. That is, in operation 650, the 3D video encoder 400 obtains a quantized position value through the quantizer 450 so that the interval between interpolation points that may be generated by the decoder 500 is minimized.
  • step 660 3D video encoder 400 codes the quantized depth transition position.
  • the 3D video encoder 400 entropy coded the quantized depth transition position.
  • the 3D video encoder 400 transmits the compressed and coded data into the bitstream to the 3D video decoder 500.
  • FIG. 7 is a flowchart of a 3D video decoding method using depth transition data according to an embodiment of the present invention.
  • step 710 the 3D video decoder 500 separates the foreground / background. That is, in operation 710, the 3D video decoder 500 separates the foreground and the background from the reference video / depth map through the foreground / background separator 510.
  • step 720 the 3D video decoder 500 determines the transition region. That is, in operation 720, the 3D video decoder 500 determines the foreground / background transition region from the data in which the foreground and the background are separated, similarly to the 3D video encoder 400, through the transition region detector 520.
  • the 3D video decoder 500 entropy decodes the bitstream transmitted from the 3D video encoder 400. That is, in operation 730, the 3D video decoder 500 entropy decodes the depth transition data included in the bitstream transmitted from the 3D video encoder 400 through the entropy decoding unit 530. For example, in step 730, the 3D video decoder 500 performs entropy decoding for the transition pixel position from the foreground to the background or from the background to the foreground from the depth transition data included in the bitstream transmitted from the 3D video encoder 400. can do.
  • step 740 the 3D video decoder 500 dequantizes the decoded depth transition data. That is, in operation 740, the 3D video decoder 500 inversely quantizes the view transition position value through the inverse quantization unit 540.
  • the 3D video decoder 500 generates a front / rear map. That is, in operation 750, the 3D video decoder 500 generates the front / rear map for the target view through the foreground / background map generator 550. At this time, the map including the values of the reference views has no transition between neighboring reference views.
  • the transition uses the transition, the dequantized transition position value depending on whether a given position in the target view belonging to the foreground or background is determined.
  • the 3D video decoder 500 corrects the distortion of the composite image by using the decoded depth transition data. That is, in operation 760, the 3D video decoder 500 compares the decoded depth transition data with the distortion corrector 560 when the rendered view produces distortion such as erosion artifacts. The enhanced rendered view is output by correcting the distortion of the composite image. For example, in operation 760, the 3D video decoder 500 may perform erosion correction for an area given a foreground / background map for the target view using the depth transition data through the distortion correction unit 560. have.
  • FIG. 8 is a flow chart of a distortion correction procedure using depth transition data.
  • the 3D video decoder 500 calculates a background average u BG when erosion distortion occurs in a composite image.
  • step 820 the 3D video decoder 500 compares each foreground pixel with the background average to classify the isolate or eroded pixel. If the pixel is close to the background average, use foreground pixels without outliers.
  • the 3D video decoder 500 calculates a foreground average u FB .
  • step 840 the 3D video decoder 500 replaces the eroded pixel values with the calculated foreground average u FB . That is, at step 840 the 3D video decoder 500 replaces the weakened pixel with the foreground average u FB .
  • FIG. 9 is a diagram showing an example of a distortion curve comparing the case of using the depth transition data method according to the present invention and the conventional encoding method.
  • the synthesized view using the depth transition data according to the present invention has an improved distortion rate than the conventional synthesized view.
  • FIG. 10 is a diagram illustrating an example of quality comparison between a depth transition data method and a conventional encoding method according to the present invention.
  • the erosion distortion according to the conventional encoding method is generated 1010 and the erosion distortion compensation according to the present invention 1020, the erosion distortion according to the present invention is compensated (1020).
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Abstract

깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 방법이다. 3D 비디오 인코딩 장치 및 방법은 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하고, 상기 계산된 깊이 전이의 위치를 양자화하고, 양자화된 깊이 전이 위치를 코딩한다.

Description

깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 방법
아래의 실시예들은 깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 방법에 관한 것이다.
3-D(Dimension) 비디오 시스템은 깊이 영상을 기초한 렌더링 시스템(Depth Image Based Rendering system: 이하 "DIBR 시스템"이라고 함)을 이용하여 효과적으로 3-D 비디오 인코딩을 수행한다.
하지만 종래 DIBR 시스템은 생성된 영상들(Rendered views)에서 왜곡들(distortions)이 발생하고, 이러한 왜곡들은 비디오 시스템의 질을 저하시키는 요인이 된다. 결과적으로 압축된 깊이 영상의 왜곡(depth map coding distortion)은 대상 경계들(object boundaries)에서 침식 아티팩트들(erosion artifacts)을 유발시키고, 이러한 침식 아티팩트들로 인하여 화질 저하가 발생한다.
본 발명의 일실시예에 따른 3D 비디오 인코딩 장치는 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 전이 위치 계산부와, 상기 계산된 깊이 전이의 위치를 양자화하는 양자화부 및 상기 양자화된 깊이 전이 위치를 코딩하는 코딩부를 포함한다.
본 발명의 일측면에서 상기 전이 위치 계산부는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 이웃 기준 시점들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 인코딩 장치는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 전경/배경 분리부는 상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리할 수 있다.
또한, 본 발명의 일측면에서 상기 전경/배경 분리부는 상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 전이 위치 계산부는 내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 인코딩 장치는 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행하는 양자화부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 디코딩 장치는 양자화된 깊이 전이 데이터를 디코딩하는 디코딩부와, 깊이 전이 데이터를 역양자화하는 역양자화부 및 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정하는 왜곡 보정부를 포함한다.
본 발명의 일측면에서 상기 디코딩부는 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 디코딩 장치는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 3D 비디오 디코딩 장치는 상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정할 수 있다.
또한, 본 발명의 일측면에서 상기 3D 비디오 디코딩 장치는 상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 전이 영역을 검출하는 전이 영역 검출부를 더 포함할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체할 수 있다.
또한, 본 발명의 일측면에서 상기 왜곡 보정부는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 인코딩 방법은 뷰 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 단계와, 상기 계산된 깊이 전이의 위치를 양자화하는 단계 및 상기 양자화된 깊이 전이 위치를 코딩하는 단계를 포함할 수 있다.
본 발명의 일측면에서 상기 깊이 전이를 계산하는 단계는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 뷰 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산할 수 있다.
본 발명의 일실시예에 따른 3D 비디오 디코딩 방법은 양자화된 깊이 전이 데이터를 디코딩하는 단계와, 깊이 전이 데이터를 역양자화하는 단계 및 상기 디코딩된 깊이 전이 데이터를 이용하여 렌더링된 뷰를 확장하는 단계를 포함할 수 있다.
본 발명의 일측면에서 상기 양자화된 깊이 전이 데이터를 디코딩하는 단계는 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩할 수 있다.
본 발명의 실시예는 MVD (video plus depth) 데이터에 깊이 전이 데이터를 부가하여 제공함으로써 보다 향상된 3D 비디오 인코딩/디코딩 장치 및 방법을 제공할 수 있다.
또한 본 발명의 실시예는 깊이 전이 데이터가 전경/배경 전이가 발생된 것을 나타내므로 깊이 맵 왜곡을 보정할 수 있다.
또한 본 발명의 실시예는 임의의 위치에서 다중 뷰들에 적용할 수 있는 깊이 전이 데이터를 제공함으로써 모든 기준 뷰들에 대해 깊이 맵 정보를 제공할 수 있다.
또한 본 발명의 실시예는 제안된 깊이 전이 데이터를 이용함으로써 깊이 맵 왜곡에 기인하는 침식 아티팩트를 감소시킬 수 있고, 생성된 영상의 화질을 향상시킬 수 있다.
또한 본 발명의 실시예는 합성 영상에 대해 깊이 전이 데이터를 적용함으로써 절대적인 및 상대적인 3D 인코딩/디코딩 품질을 향상시킬 수 있다.
도 1은 각 큐브 대상의 뷰에 따른 좌표의 일례를 나타내는 도면이다.
도 2는 도 1에 도시된 큐브 대상(cube object)를 이용한 깊이 전이 데이터(depth transition data)의 일례를 나타내는 도면이다.
도 3은 전방에서 후방으로 전이되는 것을 나타내는 깊이 전이 데이터의 일례를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코딩 방법의 플로우 차트이다.
도 7은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코딩 방법의 플로우 차트이다.
도 8은 깊이 전이 데이터를 이용하는 왜곡 보정 절차의 플로우 차트이다.
도 9는 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 이용한 경우를 비교하는 왜곡률 곡선의 일례를 나타내는 도면이다.
도 10은 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 품질을 비교한 일례를 나타내는 도면이다.
이하, 본 발명의 실시예에 따른 깊이 전이 데이터를 이용한 3D 비디오 인코딩/디코딩 장치 및 그 방법을 첨부된 도면들을 참조하여 상세하게 설명한다.
DIBR 시스템은 이용 가능한 기준 뷰들 사이에서 뷰를 렌더링한다. 본 발명에서는 상기 렌더링된 뷰의 품질을 향상시키기 위해 기준 비디오에 따른 깊이 맵이 제공된다.
기준 비디오 및 깊이 맵은 비스트림으로 압축 및 코딩된다. 깊이 맵 코딩 왜곡은 상대적으로 큰 품질 저하를 유발하고, 전경 대상 경계를 따른 침식 아티팩트를 유발한다. 따라서, 본 발명에서는 각 중간 렌더링된 뷰(intermediate rendered view)를 위한 부가 정보를 제공하여 침식 아티팩트를 감소시킬 수 있는 방안을 제안한다.
간단히 예를 들면, 인코더에서는 뷰들을 종합하고, 상기 종합된 뷰(synthesized view) 및 원래 캡처된 비디오(original captured video) 사이에서 잔여(residue)를 전송한다. 이러한 방식은 가능한 보간된 뷰들(possible interpolated views)의 바람직한 개수가 증가하여 발생된 오버헤드 때문에 매력적이지 못하다.
그러므로, 본 발명에서는 다중 보간 뷰들의 향상된 렌더링을 제공할 수 있는 깊이 정보(depth information)를 보완한 보조적인 데이터(auxiliary data)를 제공할 수 있다.
도 1은 각 큐브 대상의 뷰에 따른 좌표의 일례를 나타내는 도면이다.
도 1을 참조하면, 제1 뷰(110), 제2 뷰(120) 및 제3 뷰(130)는 동일한 큐브를 수평으로(horizontally) 각기 다른 카메라 시점(v=1, v=3, v=5)에서 본 좌표의 일례로서 카메라 큐브 개체는 캡처된 다른 가로, 세로의 색인이 증가함에 따라 이미지 프레임이 왼쪽으로 큐브 개체가 이동된다.
도 2는 도 1에 도시된 큐브 대상(cube object)를 이용한 깊이 전이 데이터(depth transition data)의 일례를 나타내는 도면이다.
도 2를 참조하면, 깊이 전이 데이터는 픽셀 위치가 (10, 10)인 경우 뷰 인덱스(view index, v)에 따른 전경 레벨(foreground level) 및 배경 레벨(background level)로서 전경에서 배경으로 깊이 전이되거나 배경에서 전경으로 깊이 전이되는 것이 파악될 수 있다. 본 발명에서 주어진 픽셀 위치를 위해 중간 카메라 위치를 선택하는 기능으로써 픽셀을 위한 깊이 값이 어떠한지 추적하여 상기 깊이 전이 데이터를 생성할 수 있다. 별도로 모든 기준 뷰(every reference)를 위해 종래와 비교되는 깊이 맵 데이터가 제공되며, 본 발명에 따라 제안된 깊이 전이 데이터는 어떠한 임의의 뷰 위치에서도 렌더링을 향상시키기 위한 싱글 데이터 세트(single data set)를 한번에 생성할 수 있다. 또한 본 발명에서 깊이 전이 데이터는 기준 뷰 위치로부터 렌더링 근접 위치(rendering close position)의 디코더 용량(decoder capability)에 따라 보다 향상될 수 있다.
도 3은 전방에서 후방으로 전이되는 것을 나타내는 깊이 전이 데이터의 일례를 나타내는 도면이다.
도 3을 참조하면, 임의의 뷰 렌더링(arbitrary view rendering)을 위한 깊이 전이 데이터는 임의의 뷰 위치(arbitrary view position)에서 왼쪽 또는 오른쪽의 각 뷰 인덱스에 따라 전경 레벨 및 배경 레벨을 파악하여 전경 레벨에서 배경 레벨로 또는 배경 레벨에서 전경 레벨로 변경되는 전이 위치(transition position)를 파악할 수 있다. 예를 들어, 픽셀 위치는 왼쪽 기준 뷰에서 전경에 속하고, 오른쪽 기준 뷰에서 배경에 속할 수 있다. 상기 깊이 전이 데이터는 각 픽셀 위치를 위한 전이 위치가 기록된 형태일 수 있다. 만약 상기 임의의 뷰가 전이 위치의 왼쪽에 위치한다면 상기 픽셀은 전경에 속할 것이고, 상기 임의의 뷰가 전이 위치의 오른쪽에 위치한다면 상기 픽셀은 배경에 속할 것이다. 그러므로, 깊이 전이 데이터를 이용하여 전경/배경 맵은 임의의 뷰 위치를 생성할 수 있다. 만약 상기 중간 뷰들을 위한 상기 깊이 맵들이 기준 깊이 맵 값에 의해 상기 깊이 전이 데이터를 생성한다면, 상기 기준 뷰들에 적용되는 동일한 수식을 사용하는 바이너리 맵(binary map)을 생성할 수 있다. 이 경우 쉽게 전이 추적을 할 수 있다. 하지만 항상 상기 깊이 맵들은 임의의 뷰 위치에서 목표 뷰를 이용할 수 있는 것은 아니다. 그러므로, 본 발명에서는 사용하는 카메라 파라미터들(camera parameters)를 사용하여 발생하는 깊이 전이 위치를 카메라 위치로 추정하는 방법을 유도한다.
상기 깊이 전이 데이터는 표 1에 도시된 것 표기와 같은 카메라 파라미터들을 가진다.
[규칙 제26조에 의한 보정 28.06.2011]　
Figure WO-DOC-TABLE-1
카메라 좌표들(camera coordinates)(x, y, z)는 실제 좌표들(world coordinates)(X, Y, Z)로 수학식 1과 같이 매핑될 수 있다.
Figure PCTKR2011002906-appb-I000002
여기서, A 및 M은 각각 내부 및 외부 카메라 매트릭스들(intrinsic and extrinsic camera matrices)이고, 상기 M은 회전 매트릭스(rotation matrix) R 및 전환 벡터(translation vector) T를 포함한다. 영상 좌표들(image coordinates) (xim, yim)은 수학식 2와 같이 상기 카메라 좌표들로 표현될 수 있다.
Figure PCTKR2011002906-appb-I000003
그러므로, 각 픽셀 깊이 값은 실제 좌표들에서 픽셀 위치가 지점으로 매핑될 수 있고, 상기 위치는 렌더링된 뷰의 카메라 위치에 대응하는 다른 좌표들의 세트로 재맵핑될 수 있다. 특히 상기 카메라 파라미터들(Ap, Rp, Tp)의 p번째 뷰는 p'번째 뷰가 가지는 파라미터들(Ap', Rp', Tp')로 매핑될 수 있으며, p'번째 뷰에서 카메라 좌표들은 수학식 3으로 대표될 수 있다.
Figure PCTKR2011002906-appb-I000004
여기서, Z는 깊이 값(depth value)이고, 상기 이미지 좌표는 p'번째 뷰는 수학식 4로 표현될 수 있다.
Figure PCTKR2011002906-appb-I000005
깊이 전이가 발생되는 경우 위치 매핑의 이전 분산에 기초하여 카메라 위치가 어떻게 계산되는지를 설명하도록 한다. 수평으로 평행 위치로 정렬된 카메라들은 정체 매트릭스(identity matrix)을 적용한다. Ap′A-1p를 계산하기 위해 내부 매트릭스 A를 수학식 5와 같이 한정한다.
Figure PCTKR2011002906-appb-I000006
여기서, fx 및 fy는 수평 및 수직 방향에서 효과적인 픽셀 크기에 의해 분배된 초점 길이이고, (ox, oy)는 이미지 중심(일반적인 지점)의 픽셀 좌표들이다. 그러면, 매트릭스A의 인버스(inverse)는 수학식 6과 같이 계산될 수 있다.
Figure PCTKR2011002906-appb-I000007
여기서, p번째 및 p'번째 뷰들에서 두 개의 카메라를 위한 동일한 초점 거리를 가정하면, 수학식 4는 수학식 7과 같이 표현될 수 있다.
Figure PCTKR2011002906-appb-I000008
상기 평행 카메라 셋팅 합에서 이격도(disparity)는 수평 또는 x 방향 보다 더 변화될 수 없다. 그러므로, 상기 이격도(Δxim)는 수학식 8과 같이 표현될 수 있다.
Figure PCTKR2011002906-appb-I000009
여기서, tx는 수평 방향에서 카메라 거리를 나타낸다.
실제 깊이 값 및 8비트 깊이 맵 값 사이에 관계는 수학식 9와 같다.
Figure PCTKR2011002906-appb-I000010
여기서, Znear는 장면(scene)에서 가장 가까운 깊이 값이고, Zfar는 가장 먼 깊이 값이고, 상기 깊이 맵 L에서 각각 255 및 0과 대응되는 값이다. 이것을 수학식 8에 대입하면, 수학식 10을 얻을 수 있다.
Figure PCTKR2011002906-appb-I000011
그러므로, 카메라 거리 tx를 알면, 이격도 Δxim를 계산할 수 있고, 이격도를 알면 카메라 거리를 계산할 수 있다. 그러면, 상기 수평 거리로서 이격도는 상기 주어진 거리로부터 깊이 전이가 발생한 위치로 정확인 뷰 위치를 측정할 수 있다. 상기 수평 거리는 상기 주어진 픽셀로부터 프리셋 기준 값(preset threshold value)을 초과한 원 픽셀에 대해 다른 상기 깊이 맵 값의 첫 번째 픽셀로 픽셀들의 개수를 카운팅함으로써 측정할 수 있다. 그러면, 상기 이격도 Δxim로서 계산된 수학식 11과 같이 카메라 거리를 이용하여 깊이 전이가 발생한 뷰 위치를 추정할 수 있다.
Figure PCTKR2011002906-appb-I000012
여기서,
Figure PCTKR2011002906-appb-I000013
이고, tx는 바람직한 정확도로 양자화될 수 있고, 보조 데이터(auxiliary data)로서 전송될 수 있다.
도 4는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더의 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코더(400)는 전경/배경 분리부(410), 전이 영역 검출부(420), 전이 거리 측정부(430), 전이 위치 계산부(440), 양자화부(450) 및 엔트로피 인코딩부(460)를 포함한다.
전경/배경 분리부(410)는 기준 비디오/깊이 맵을 입력 받고, 상기 입력된 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리한다. 즉, 전경/배경 분리부(410)는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되며, 상기 전경 및 배경을 분리한다. 예를 들어, 전경/배경 분리부(410)는 도 2 및 도 3에 도시된 것과 같은 전경 레벨 또는 배경 레벨을 기준으로 상기 입력된 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리할 수 있다. 일례로 전경/배경 분리부(410)는 상기 입력된 기준 비디오/깊이 맵 데이터가 상기 전경 레벨인 경우 상기 입력된 기준 비디오/깊이 맵 데이터가 전경으로 분리할 수 있다. 다른 일례로 전경/배경 분리부(410)는 상기 입력된 기준 비디오/깊이 맵 데이터가 상기 배경 레벨인 경우 상기 입력된 기준 비디오/깊이 맵 데이터가 배경으로 분리할 수 있다.
전이 영역 검출부(420)는 전경/배경 분리부(410)로부터 상기 전경 및 배경이 분리된 데이터를 입력받고, 상기 입력된 전경 및 배경 분리 데이터를 이용하여 전이 영역을 검출한다. 즉, 전이 영역 검출부(420)는 상기 입력된 전경 및 배경 분리 데이터를 이용하여 전경에서 배경으로 또는 배경에서 전경으로 전이되는 영역을 상기 전이 영역으로 검출한다. 일례로 전이 영역 검출부(420)는 도 2에 도시된 것과 같이 뷰 인덱스(v)가 3인 경우 배경 레벨에서 전경 레벨로 변경되는 전이 영역을 검출할 수 있다. 다른 일례로 전이 영역 검출부(420)는 도 2에 도시된 것과 같이 뷰 인덱스(v)가 6인 경우 전경 레벨에서 배경 레벨로 변경되는 전이 영역을 검출할 수 있다.
전경/배경 분리부(410)는 상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리할 수 있다.
전경/배경 분리부(410)는 상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리할 수 있다.
전이 거리 측정부(430)는 상기 전이 영역간의 거리를 측정한다. 즉, 전이 거리 측정부(430)는 전이 영역 검출부(420)에서 검출된 전이 영역을 기준으로 전이 거리를 측정한다. 일례로 전이 거리 측정부(430)는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정한다.
전이 위치 계산부(440)는 뷰 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산한다. 즉, 전이 위치 계산부(440)는 전경에서 배경(background)으로 또는 배경에서 전경으로 변환하는 뷰 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산한다. 일례로 전이 위치 계산부(440)는 이웃 기준 뷰들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산할 수 있다.
전이 위치 계산부(440)는 주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산할 수 있다.
전이 위치 계산부(440)는 내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산할 수 있다.
양자화부(450)는 상기 계산된 깊이 전이의 위치를 양자화한다. 즉, 양자화부(450)는 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행한다.
엔트로피 인코딩부(460)는 상기 양자화된 깊이 전이 위치를 코딩한다.
도 5는 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더의 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코더(500)는 전경/배경 분리부(510), 전이 영역 검출부(520), 엔트로피 디코딩부(530), 역양자화부(540), 전경/배경 맵 생성부(550) 및 왜곡 보정부(560)를 포함한다.
전경/배경 분리부(510)는 기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 전경 및 배경을 분리한다. 즉, 전경/배경 분리부(510)는 기준 비디오/깊이 맵 데이터를 입력받고, 상기 입력된 기준 비디오/깊이 맵 데이터에서 상기 깊이 값에 따라 전경 및 배경을 분리한다.
전이 영역 검출부(520)는 상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 전이 영역을 검출한다.
엔트로피 디코딩부(530)는 양자화된 깊이 전이 데이터를 디코딩한다. 즉, 엔트로피 디코딩부(530)는 인코딩 장치(400)로부터 전송되는 비트스트림을 수신하고, 상기 수신된 비트스트림을 이용하여 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 엔트로피 디코딩을 수행한다.
역양자화부(540)는 깊이 전이 데이터를 역양자화한다. 즉, 역양자화부(540)는 상기 엔트로피 디코딩된 깊이 전이 데이터를 역양자화한다.
전경/배경 맵 생성부(550)는 전이 영역 검출부(520)에서 검출된 전이 영역 및 역양자화부(540)로부터 출력된 역양자화된 깊이 전이 데이터를 이용하여 전경/배경 맵을 생성한다.
왜곡 보정부(560)는 상기 역양자화된 깊이 전이 데이터를 이용하여 렌더링된 뷰를 확장하여 왜곡을 보정한다. 즉, 왜곡 보정부(560)는 상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정한다. 일례로 왜곡 보정부(560)는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체할 수 있다. 다른 일례로 왜곡 보정부(560)는 상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체할 수 있다.
도 6은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 인코딩 방법의 플로우 차트이다.
도 4 및 도 6을 참조하면, 단계(610)에서 3D 비디오 인코더(400)는 전경/배경의 바이너리 맵을 생성한다. 즉, 단계(610)에서 3D 비디오 인코더(400)는 전경/배경 분리부(410)를 통해 기준 비디오에서 배경으로부터 전경을 분리하고, 전경/배경의 바이너리 맵을 생성한다.
단계(620)에서 3D 비디오 인코더(400)는 전이 영역을 결정한다. 즉, 단계(620)에서 3D 비디오 인코더(400)는 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산함으로써 전이 영역을 결정한다. 일례로 단계(620)에서 3D 비디오 인코더(400)는 전이 영역 검출부(420)를 통해 이웃 기준 시점의 상기 전경/배경 맵을 비교함으로써 상기 전경/배경 영역을 결정한다. 만약 3D 비디오 인코더(400)는 픽셀 위치가 기준 시점에서 전경에 속하고, 다른 기준 시점에서 배경에 속하거나 반대인 경우 상기 위치가 전이 영역으로 결정할 수 있다. 상기 전이 영역을 위해 상기 깊이 전이 영역이 계산되며, 상기 시점 위치가 전이된다.
단계(630)에서 3D 비디오 인코더(400)는 전이 거리를 측정한다. 즉, 단계(630)에서 3D 비디오 인코더(400)는 전이 거리 측정부(430)을 통해 현재 기준 뷰에서 현재 픽셀 위치로부터 전위 위치까지의 거리를 전이 거리로 측정한다. 일례로 1차원 병렬 카메라 모델에서 이러한 거리는 상기 주어진 픽셀로부터 프리셋 기준 값을 초과한 원래 픽셀에 대한 다른 값을 가지는 깊이 맵을 위한 첫 번째 픽셀로의 픽셀들의 개수를 카운팅함으로써 측정할 수 있다.
단계(640)에서 3D 비디오 인코더(400)는 전이 영역을 계산한다. 즉, 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산한다. 일례로 단계(640)에서 3D 비디오 인코더(400)는 전이 위치 계산부(440)를 통해 수학식 11을 이용하여 얻은 전이 발생 시점 위치를 계산할 수 있다.
단계(650)에서 3D 비디오 인코더(400)는 상기 계산된 깊이 전이의 위치를 양자화한다. 즉, 단계(650)에서 3D 비디오 인코더(400)는 양자화부(450)를 통해 디코더(500)에서 생성될 수 있는 보간 시점들 사이의 간격이 최소가 되는 바람직한 정도로 양자화된 위치 값을 얻는다.
단계(660)에서 3D 비디오 인코더(400)는 상기 양자화된 깊이 전이 위치를 코딩한다. 일례로 단계(660)에서 3D 비디오 인코더(400)는 상기 양자화된 깊이 전이 위치를 엔트로피 코딩한다. 3D 비디오 인코더(400)는 비트스트림으로 압축 및 코딩된 데이터를 3D 비디오 디코더(500)로 전송한다.
도 7은 본 발명의 일 실시예에 따른 깊이 전이 데이터를 이용하는 3D 비디오 디코딩 방법의 플로우 차트이다.
도 5 및 도 7을 참조하면, 단계(710)에서 3D 비디오 디코더(500)는 전경/배경을 분리한다. 즉, 단계(710)에서 3D 비디오 디코더(500)는 전경/배경 분리부(510)를 통해 기준 비디오/깊이 맵으로부터 전경 및 배경을 분리한다.
단계(720)에서 3D 비디오 디코더(500)는 전이 영역을 결정한다. 즉, 단계(720)에서 3D 비디오 디코더(500)는 전이 영역 검출부(520)를 통해 3D 비디오 인코더(400)와 마찬가지로 전경 및 배경이 분리된 데이터로부터 전경/배경 전이 영역을 결정한다.
단계(730)에서 3D 비디오 디코더(500)는 3D 비디오 인코더(400)에서 전송되는 비트스트림을 엔트로피 디코딩한다. 즉, 단계(730)에서 3D 비디오 디코더(500)는 엔트로피 디코딩부(530)을 통해 3D 비디오 인코더(400)에서 전송되는 비트스트림에 포함된 깊이 전이 데이터를 엔트로피 디코딩한다. 일례로 단계(730)에서 3D 비디오 디코더(500)는 3D 비디오 인코더(400)에서 전송되는 비트스트림에 포함된 깊이 전이 데이터로부터 전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 엔트로피 디코딩을 수행할 수 있다.
단계(740)에서 3D 비디오 디코더(500)는 상기 디코딩된 깊이 전이 데이터를 역양자화한다. 즉, 단계(740)에서 3D 비디오 디코더(500)는 역양자화부(540)를 통해 뷰 전이 위치 값을 역양자화한다.
단계(750)에서 3D 비디오 디코더(500)는 전방/후방 맵을 생성한다. 즉, 단계(750)에서 3D 비디오 디코더(500)는 전경/배경 맵 생성부(550)를 통해 타겟 뷰를 위한 전방/후방 맵을 생성한다. 이때 기준 뷰들의 값을 포함하는 맵은 이웃 기준 뷰들 사이에서 전이가 없다. 상기 전이는 상기 전경 또는 배경에 속하는 타겟 뷰에서 주어진 위치가 결정되는지 여부에 따라 전이, 상기 역양자화된 전이 위치 값이 사용된다.
단계(760)에서 3D 비디오 디코더(500)는 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정한다. 즉, 단계(760)에서 3D 비디오 디코더(500)는 왜곡 보정부(560)를 통해 상기 전경/배경 맵과 비교하여 렌더링된 뷰가 침식 아티팩트와 같은 왜곡이 발생되면, 상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정함으로써 향상된 렌더링된 뷰(enhanced rendered view)를 출력한다. 일례로 단계(760)에서 3D 비디오 디코더(500)는 왜곡 보정부(560)를 통해 상기 깊이 전이 데이터를 이용하여 상기 목표 뷰를 위한 전경/배경 맵이 주어진 지역 영역을 위해 침식 보정을 수행할 수 있다.
도 8은 깊이 전이 데이터를 이용하는 왜곡 보정 절차의 플로우 차트이다.
도 8을 참조하면, 단계(810)에서 3D 비디오 디코더(500)는 합성 영상에서 침식 왜곡이 발생된 경우 배경 평균(uBG)을 계산한다.
단계(820)에서 3D 비디오 디코더(500)는 각 전경 픽셀과 상기 배경 평균을 비교하여 분리물 또는 침식된 픽셀을 분류한다. 만약 픽셀이 상기 배경 평균에 근접하면, 분리물들(outliers) 없이 전경 픽셀들을 이용한다.
단계(830)에서 3D 비디오 디코더(500)는 전경 평균(uFB)을 계산한다.
단계(840)에서 3D 비디오 디코더(500)는 상기 침식된 픽셀 값들을 상기 계산된 전경 평균(uFB)으로 대체한다. 즉, 단계(840)에서 3D 비디오 디코더(500)는 약화된 픽셀을 상기 전경 평균(uFB)을 가지고 약화된 픽셀을 대체한다.
도 9는 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 이용한 경우를 비교하는 왜곡률 곡선의 일례를 나타내는 도면이다.
도 9를 참조하면, 본 발명에 따른 깊이 전이 데이터를 이용한 합성된 뷰는 종래 합성된 뷰보다 왜곡률이 향상된다.
도 10은 본 발명에 따른 깊이 전이 데이터 방식과 종래 인코딩 방식을 품질을 비교한 일례를 나타내는 도면이다.
도 10를 참조하면, 종래 인코딩 방식에 따른 침식 왜곡이 발생된 경우(1010) 및 본 발명에 따라 침식 왜곡이 보상된 경우(1020)를 비교하면, 본 발명에 따른 침식 왜곡이 보상된 경우(1020)는 가장자리에 대한 왜곡이 종래 인코딩 방식에 비해 현저히 보상되었음을 확인할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 전이 위치 계산부;
    상기 계산된 깊이 전이의 위치를 양자화하는 양자화부; 및
    상기 양자화된 깊이 전이 위치를 코딩하는 코딩부
    를 포함하는 3D 비디오 인코딩 장치.
  2. 제1항에 있어서,
    상기 전이 위치 계산부는,
    전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  3. 제1항에 있어서,
    상기 전이 위치 계산부는,
    이웃 기준 시점들(neighboring reference views) 사이에서 발생하는 전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 픽셀 위치들을 이용하여 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  4. 제3항에 있어서,
    기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부
    를 더 포함하는 3D 비디오 인코딩 장치.
  5. 제4항에 있어서,
    상기 전경/배경 분리부는,
    상기 기준 비디오에서 상기 배경 대상들의 전체 움직임 및 전경 대상들의 지역 움직임에 기초하여 상기 전경 및 배경을 분리하는 3D 비디오 인코딩 장치.
  6. 제4항에 있어서,
    상기 전경/배경 분리부는,
    상기 기준 비디오에서 가장자리 구조(edge structure)에 기초하여 상기 전경 및 배경을 분리하는 3D 비디오 인코딩 장치.
  7. 제1항에 있어서,
    상기 전이 위치 계산부는,
    주어진 픽셀 위치로부터 상기 전경에서 배경으로 또는 상기 배경에서 전경으로 전이가 발생되는 픽셀 위치로 전이 거리를 측정하는 것에 의해 상기 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  8. 제1항에 있어서,
    상기 전이 위치 계산부는,
    내부 또는 외부 카메라 파라미터들을 이용하여 상기 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 장치.
  9. 제1항에 있어서,
    상기 양자화부는, 3D 디코딩 시스템의 렌더링된 정밀도에 기초하여 양자화를 수행하는 3D 비디오 인코딩 장치.
  10. 양자화된 깊이 전이 데이터를 디코딩하는 디코딩부;
    상기 깊이 전이 데이터를 역양자화하는 역양자화부; 및
    상기 디코딩된 깊이 전이 데이터를 이용하여 합성 영상에 대한 왜곡을 보정하는 왜곡 보정부
    를 포함하는 3D 비디오 디코딩 장치.
  11. 제10항에 있어서,
    상기 디코딩부는,
    전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩하는 3D 비디오 디코딩 장치.
  12. 제11항에 있어서,
    기준 비디오(reference video)에서 전경 대상들 및 배경 대상들의 깊이 값에 기초하여 실행되어 상기 전경 및 배경을 분리하는 전경/배경 분리부
    를 더 포함하는 3D 비디오 디코딩 장치.
  13. 제10항에 있어서,
    상기 왜곡 보정부는,
    상기 깊이 전이 데이터를 이용하여 왜곡이 기준치보다 큰 픽셀들을 검출하여 왜곡을 보정하는 3D 비디오 디코딩 장치.
  14. 제13항에 있어서,
    상기 깊이 전이 데이터로부터 생성된 전경 및 배경 맵을 참조하여 전경 영역 및 배경 영역의 지역 평균들을 계산하고, 상기 계산된 평균들을 비교하여 픽셀 값을 검출하는 전이 영역 검출부를 더 포함하는 3D 비디오 디코딩 장치.
  15. 제13항에 있어서,
    상기 왜곡 보정부는,
    상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 픽셀이 소속된 전경 또는 배경 영역의 지역 평균으로 대체하는 3D 비디오 디코딩 장치.
  16. 제13항에 있어서,
    상기 왜곡 보정부는,
    상기 검출된 픽셀 값을 상기 깊이 전이 데이터에 따라 동일한 전경 또는 배경 영역에 속하는 가장 근접한 픽셀 값으로 대체하는 3D 비디오 디코딩 장치.
  17. 시점 변화에 따라 각 픽셀 위치를 위한 깊이 전이를 계산하는 단계;
    상기 계산된 깊이 전이의 위치를 양자화하는 단계; 및
    상기 양자화된 깊이 전이 위치를 코딩하는 단계
    를 포함하는 3D 비디오 인코딩 방법.
  18. 제17항에 있어서,
    상기 깊이 전이를 계산하는 단계는,
    전경(foreground)에서 배경(background)으로 또는 배경에서 전경으로 변환하는 시점 전이 위치(view transition position)를 이용하여 대표되는 깊이 전이 데이터를 계산하는 3D 비디오 인코딩 방법.
  19. 양자화된 깊이 전이 데이터를 디코딩하는 단계;
    깊이 전이 데이터를 역양자화하는 단계; 및
    상기 디코딩된 깊이 전이 데이터를 이용하여 생성된 영상의 화질을 개선하는 단계
    를 포함하는 3D 비디오 디코딩 방법.
  20. 제19항에 있어서,
    상기 양자화된 깊이 전이 데이터를 디코딩하는 단계는,
    전경에서 배경으로 또는 배경에서 전경으로 전이 픽셀 위치를 위해 실행되는 엔트로피 디코딩하는 3D 비디오 디코딩 방법.
PCT/KR2011/002906 2010-06-11 2011-04-22 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법 WO2011155704A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/703,544 US20140002596A1 (en) 2010-06-11 2011-04-22 3d video encoding/decoding apparatus and 3d video encoding/decoding method using depth transition data
EP11792615.4A EP2582135A4 (en) 2010-06-11 2011-04-22 THREE DIMENSION (3D) VIDEO ENCODING / DECODING APPARATUS AND 3D VIDEO ENCODING / DECODING METHOD USING DEPTH TRANSITION DATA

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35382110P 2010-06-11 2010-06-11
US61/353,821 2010-06-11
KR1020100077249A KR20110135786A (ko) 2010-06-11 2010-08-11 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
KR10-2010-0077249 2010-08-11

Publications (2)

Publication Number Publication Date
WO2011155704A2 true WO2011155704A2 (ko) 2011-12-15
WO2011155704A3 WO2011155704A3 (ko) 2012-02-23

Family

ID=45502644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002906 WO2011155704A2 (ko) 2010-06-11 2011-04-22 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법

Country Status (4)

Country Link
US (1) US20140002596A1 (ko)
EP (1) EP2582135A4 (ko)
KR (1) KR20110135786A (ko)
WO (1) WO2011155704A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307937A1 (en) * 2012-05-15 2013-11-21 Dong Hoon Kim Method, circuit and system for stabilizing digital image
WO2016072559A1 (ko) * 2014-11-05 2016-05-12 전자부품연구원 3d 콘텐츠 제작 방법 및 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2538242B1 (en) * 2011-06-24 2014-07-02 Softkinetic Software Depth measurement quality enhancement.
EP2749024A1 (en) * 2011-08-25 2014-07-02 Telefonaktiebolaget L M Ericsson (publ) Depth map encoding and decoding
KR101347750B1 (ko) * 2012-08-14 2014-01-16 성균관대학교산학협력단 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
WO2015115946A1 (en) * 2014-01-30 2015-08-06 Telefonaktiebolaget L M Ericsson (Publ) Methods for encoding and decoding three-dimensional video content
KR102156410B1 (ko) 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
KR101709974B1 (ko) * 2014-11-05 2017-02-27 전자부품연구원 뎁스맵 등심선 생성 방법 및 시스템
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
EP3227789A4 (en) * 2014-12-04 2018-07-25 Hewlett-Packard Development Company, L.P. Access to network-based storage resource based on hardware identifier
US10127672B2 (en) * 2015-10-12 2018-11-13 International Business Machines Corporation Separation of foreground and background in medical images
KR101739485B1 (ko) * 2015-12-04 2017-05-24 주식회사 이제갬 가상 현실 체험 시스템
CN109544586A (zh) * 2017-09-21 2019-03-29 中国电信股份有限公司 前景轮廓提取方法和装置以及计算机可读存储介质
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US7024039B2 (en) * 2002-04-25 2006-04-04 Microsoft Corporation Block retouching
WO2005091221A1 (en) * 2004-03-12 2005-09-29 Koninklijke Philips Electronics N.V. Creating a depth map
KR100959538B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
RU2487488C2 (ru) * 2007-06-26 2013-07-10 Конинклейке Филипс Электроникс Н.В. Способ и система для кодирования сигнала трехмерного видео, инкапсулированный сигнал трехмерного видео, способ и система для декодера сигнала трехмерного видео
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
JP4902569B2 (ja) * 2008-02-19 2012-03-21 キヤノン株式会社 画像符号化装置及びその制御方法
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
EP2214137B1 (en) * 2009-01-29 2024-04-03 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2582135A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307937A1 (en) * 2012-05-15 2013-11-21 Dong Hoon Kim Method, circuit and system for stabilizing digital image
US9661227B2 (en) * 2012-05-15 2017-05-23 Samsung Electronics Co., Ltd. Method, circuit and system for stabilizing digital image
WO2016072559A1 (ko) * 2014-11-05 2016-05-12 전자부품연구원 3d 콘텐츠 제작 방법 및 시스템

Also Published As

Publication number Publication date
WO2011155704A3 (ko) 2012-02-23
EP2582135A2 (en) 2013-04-17
EP2582135A4 (en) 2014-01-29
KR20110135786A (ko) 2011-12-19
US20140002596A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
WO2011155704A2 (ko) 깊이 전이 데이터를 이용한 3d 비디오 인코딩/디코딩 장치 및 방법
WO2019194522A1 (ko) 중복 포인트 처리 방법 및 장치
WO2013162273A1 (ko) 비디오 신호 처리 방법 및 장치
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2011149265A2 (en) New planar prediction mode
WO2009110753A2 (en) Method and apparatus for image intra prediction
EP2452500A2 (en) Method and apparatus for encoding/decoding motion vector
WO2012008790A2 (en) Method and apparatus for encoding and decoding image through intra prediction
WO2015057033A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2020009390A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 처리 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012115435A2 (en) Method and apparatus for encoding and decoding multi view video
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2013039031A1 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018225949A1 (en) Method and apparatus for determining a motion vector
WO2019203523A1 (ko) 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
WO2014171709A1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2018131838A1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2015199376A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013157839A1 (ko) 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792615

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011792615

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13703544

Country of ref document: US