KR20110139882A - Method and apparatus for multiview depth image coding and decoding - Google Patents

Method and apparatus for multiview depth image coding and decoding Download PDF

Info

Publication number
KR20110139882A
KR20110139882A KR1020100059967A KR20100059967A KR20110139882A KR 20110139882 A KR20110139882 A KR 20110139882A KR 1020100059967 A KR1020100059967 A KR 1020100059967A KR 20100059967 A KR20100059967 A KR 20100059967A KR 20110139882 A KR20110139882 A KR 20110139882A
Authority
KR
South Korea
Prior art keywords
depth
view
prediction structure
image
inter
Prior art date
Application number
KR1020100059967A
Other languages
Korean (ko)
Other versions
KR101599042B1 (en
Inventor
이재준
호요성
임일순
이천
Original Assignee
삼성전자주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광주과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020100059967A priority Critical patent/KR101599042B1/en
Publication of KR20110139882A publication Critical patent/KR20110139882A/en
Application granted granted Critical
Publication of KR101599042B1 publication Critical patent/KR101599042B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

PURPOSE: An apparatus and method for coding a multi-view point depth image and an apparatus and method for decoding an multi-view point depth image are provided to determine an estimation structure by considering correlation between the points of multi-view depth images. CONSTITUTION: A correlation producing unit(210) produces an SIMD(Similarity of Multi-View Depth) about depth images obtained at different view points. An estimation structure determining unit(230) determines an encoding estimation structure of depth images by using the produced view point correlation. An encoding unit(240) encodes the depth images according to the determined encoding estimation structure.

Description

다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법{Method and Apparatus for Multiview Depth image Coding and Decoding}Multiview Depth Image Coding Apparatus and Method thereof, and Multiview Depth Image Decoding Apparatus and Method therefor {Method and Apparatus for Multiview Depth image Coding and Decoding}

기술분야는 깊이 영상들 간의 시점관 상관도를 고려하여 예측 구조를 결정할 수 있는 다시점 깊이 영상 부호화 장치 및 그 방법, 그리고, 다시점 깊이 영상 복호화 장치 및 그 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to a multiview depth image encoding apparatus and a method thereof, and a multiview depth image decoding apparatus and a method for determining a prediction structure in consideration of view-view correlation between depth images.

3차원 비디오 시스템은 다시점 카메라로 획득한 색상 영상과 각 시점의 색상 영상에 대한 깊이 영상을 이용하여, 사용자가 시청 시점을 자유롭게 선택하거나 3차원 재현장치를 이용하여 입체 영상을 즐기게 하는 시스템이다. 3차원 비디오 시스템에서 이용되는 다시점 깊이 영상의 깊이값은 다시점 색상 영상을 이용하여 추정된다. 즉, 깊이 영상은 동시에 획득한 색상 영상과의 시점간 상관도를 이용하여 추정될 수 있다. 그러나, 이러한 방식으로 추정된 깊이 영상들은 각 시점 간의 상관도가 낮다. 다시 말해, 동일한 객체를 가리키는 깊이값이 시점 별로 다르게 추정되는 경우가 발생한다. 이는, 다시점 비디오 부호화에서 이용하는 시점간 예측구조의 특징을 효율적으로 이용하지 못하기 때문이다.The 3D video system is a system that allows a user to freely select a viewing point or enjoy a 3D image using a 3D reproducing apparatus by using a color image acquired by a multiview camera and a depth image of a color image of each viewpoint. The depth value of a multiview depth image used in a 3D video system is estimated using a multiview color image. That is, the depth image may be estimated using the correlation between viewpoints with the color image acquired at the same time. However, the depth images estimated in this manner have low correlation between each viewpoint. In other words, a depth value pointing to the same object may be estimated differently from time to time. This is because the features of the inter-view prediction structure used in multi-view video encoding cannot be effectively used.

일 측면에 있어서, 서로 다른 시점(View Point)에서 획득된 깊이 영상들에 대한 시점간 상관도(SIMD: Similarity of Multi-View Depth)를 산출하는 상관도 산출부; 상기 산출되는 시점간 상관도를 이용하여 상기 깊이 영상들의 부호화 예측 구조를 결정하는 예측 구조 결정부; 및 상기 결정된 부호화 예측 구조에 따라 상기 깊이 영상들을 부호화하는 부호화부를 포함하는, 다시점 깊이 영상 부호화 장치가 제공된다.In an aspect, a correlation calculator may be configured to calculate a similarity of multi-view depth (SIMD) for depth images acquired at different points of view; A prediction structure determiner which determines a coding prediction structure of the depth images using the calculated inter-view correlation; And an encoder which encodes the depth images according to the determined encoding prediction structure.

상기 상관도 산출부는, 상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동시키는 워핑부; 및 상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값(Disparity)들을 산출하며, 상기 산출된 변위값들의 평균의 역수를 상기 시점간 상관도로 정하는 연산부를 포함할 수 있다.The correlation calculator may include: a warping unit configured to move a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point; And a calculation unit configured to calculate displacements of corresponding pixels of the first depth image and the second depth image acquired at the second time point, and to set the inverse of the average of the calculated displacement values as the inter-view correlation. can do.

상기 예측 구조 결정부는, 상기 산출된 시점간 상관도들이 모두 기준값보다 작으면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 비활성화하고, 상기 깊이 영상들의 예측 구조를 인트라 부호화(Intra-Picture) 시점으로 결정할 수 있다. If all of the calculated inter-view correlations are smaller than a reference value, the prediction structure determiner deactivates a reference relationship between depth images from which the inter-view correlation is calculated, and intra-codes the prediction structure of the depth images. Picture) can be determined.

상기 예측 구조 결정부는, 상기 산출된 시점간 상관도들 중 적어도 두 개가 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 활성화하여, 상기 예측 구조를 결정할 수 있다.The prediction structure determiner may determine the prediction structure by activating a reference relationship between depth images from which the inter-view correlation is calculated when at least two of the calculated inter-view correlations are larger than a reference value.

상기 예측 구조 결정부는, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화(Intra-Picture) 시점 및 예측 부호화(Unidirectionally Predicted Pictures) 시점 중 하나로 결정할 수 있다.The prediction structure determiner may determine the prediction structure of the depth images from which the inter-view correlation is calculated as one of an intra-picture view and a unidirectionally predicted pictures view.

상기 예측 구조 결정부는, 상기 시점간 상관도가 산출된 깊이 영상들 중 하나의 예측 구조는 상기 인트라 부호화 시점으로 결정하고, 그 외의 깊이 영상들의 예측 구조는 예측 부호화 시점으로 결정할 수 있다.The prediction structure determiner may determine one prediction structure of depth images from which the inter-view correlation is calculated, and the prediction structure of other depth images as a prediction encoding view.

상기 예측 구조 결정부는, 상기 산출된 시점간 상관도들이 모두 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 시점, 양방향 예측 부호화(Bidirecitionally Predictive Pictures) 시점 및 예측 부호화 시점 중 적어도 두 개를 이용하여 결정할 수 있다.The prediction structure determiner may further include an intra encoding view, a bidirectional predictive pictures view, and a predictive encoding view, when the calculated inter-view correlations are larger than a reference value. Decisions can be made using at least two of them.

다른 측면에 있어서, 서로 다른 시점(View Point)에서 획득된 깊이 영상들에 대한 시점간 상관도(SIMD: Similarity of Multi-View Depth)를 산출하는 단계; 상기 산출되는 시점간 상관도를 이용하여 상기 깊이 영상들의 부호화 예측 구조를 결정하는 단계; 및 상기 결정된 부호화 예측 구조에 따라 상기 깊이 영상들을 부호화하는 단계를 포함하는, 다시점 깊이 영상 부호화 방법이 제공된다.According to another aspect, the method may further include: calculating a similarity of multi-view depth (SIMD) for depth images acquired at different points of view; Determining a coding prediction structure of the depth images using the calculated inter-view correlation; And encoding the depth images according to the determined encoding prediction structure.

상기 산출하는 단계는, 상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동하는 단계; 상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하는 단계; 및 상기 산출된 변위값들의 평균의 역수를 산출하여 상기 시점간 상관도로 정하는 단계를 포함할 수 있다.The calculating may include moving the first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point; Calculating displacement values of corresponding pixels of the first depth image and the second depth image acquired at the second time point; And calculating the inverse of the average of the calculated displacement values to determine the correlation between the viewpoints.

상기 결정하는 단계는, 상기 산출된 시점간 상관도들이 모두 기준값보다 작으면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 비활성화하고, 상기 깊이 영상들의 예측 구조를 인트라 부호화 시점으로 결정할 수 있다. The determining may include deactivating a reference relationship between depth images from which the inter-view correlations are calculated when all of the calculated inter-view correlations are smaller than a reference value, and determining a prediction structure of the depth images as an intra encoding view. Can be.

상기 결정하는 단계는, 상기 산출된 시점간 상관도들 중 적어도 두 개가 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 활성화하여, 상기 예측 구조를 결정할 수 있다.In the determining, if at least two of the calculated inter-view correlations are greater than a reference value, the prediction structure may be determined by activating a reference relationship between the depth images from which the inter-view correlation is calculated.

상기 결정하는 단계는, 상기 시점간 상관도가 산출된 깊이 영상들 중 하나의 예측 구조는 상기 인트라 부호화 시점으로 결정하고, 그 외의 깊이 영상들의 예측 구조는 예측 부호화 시점으로 결정할 수 있다.In the determining, the prediction structure of one of the depth images from which the inter-view correlation is calculated may be determined as the intra encoding view, and the prediction structure of the other depth images may be determined as the prediction encoding view.

상기 결정하는 단계는, 상기 산출된 시점간 상관도들이 모두 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 시점, 양방향 예측 부호화 시점 및 예측 부호화 시점 중 적어도 두 개를 이용하여 결정하는, 다시점 깊이 영상 부호화 방법.In the determining, if the calculated inter-view correlations are larger than a reference value, the prediction structure of the depth images from which the inter-view correlation is calculated may include at least two of an intra encoding view, a bidirectional prediction encoding view, and a prediction encoding view. A multi-view depth image encoding method that is determined by using.

다른 측면에 있어서, 시점간 상관도를 고려하여 부호화된 깊이 영상들의 예측 구조를 확인하는 예측 구조 확인부; 및 상기 확인된 예측 구조를 이용하여 상기 깊이 영상들을 복호화하는 복호화부를 포함하는, 다시점 깊이 영상 복호화 장치가 제공된다.According to another aspect, a prediction structure checking unit for checking the prediction structure of the encoded depth image in consideration of the inter-view correlation; And a decoder which decodes the depth images by using the identified prediction structure.

다른 측면에 있어서, 시점간 상관도를 고려하여 부호화된 깊이 영상들의 예측 구조를 확인하는 단계; 및 상기 확인된 예측 구조를 이용하여 상기 깊이 영상들을 복호화하는 단계를 포함하는, 다시점 깊이 영상 복호화 방법이 제공된다.In another aspect, the method includes: identifying a prediction structure of encoded depth images in consideration of inter-view correlation; And decoding the depth images using the identified prediction structure.

다시점 깊이 영상 부호화 장치 및 그 방법에 의하면, 다시점 깊이 영상의 시점간 상관도를 고려하여 예측 구조를 결정함으로써, 가장 효율적인 예측 구조를 설계할 수 있으며, 결과적으로 깊이 영상에 소모되는 비트율을 최소화하고, 부호화 효율을 높일 수 있다.According to the multi-view depth image encoding apparatus and the method thereof, by determining the prediction structure in consideration of the inter-view correlation of the multi-view depth image, it is possible to design the most efficient prediction structure, resulting in minimizing the bit rate consumed in the depth image And coding efficiency can be improved.

도 1은 다시점 색상 영상 부호화 방법의 예측 구조의 일 예를 보여주는 도면이다.
도 2은 다시점 깊이 영상 부호화 장치의 블록도이다.
도 3은 시점간 상관도를 산출하는 방법을 설명하기 위한 도면이다.
도 4는 세 개의 깊이 영상들간의 시점간 상관도들이 모두 기준값보다 낮은 경우, 예측 구조의 일 예를 보여주는 도면이다.
도 5a 및 도 5b는 세 개의 깊이 영상들간의 시점간 상관도들 중 두 시점 간의 상관도만이 기준값보다 높은 경우, 예측 구조의 일 예를 보여주는 도면이다.
도 6a 내지 도 6c는 세 개의 깊이 영상들간의 시점간 상관도들이 모두 기준값보다 높은 경우, 예측 구조의 일 예를 보여주는 도면이다.
도 7a 및 도 7b는 세 개의 깊이 영상들간의 시점간 상관도들이 모두 기준값보다 높은 경우, 예측 구조의 다른 예를 보여주는 도면이다.
도 8은 다시점 깊이 영상 복호화 장치의 블록도이다.
도 9는 다시점 깊이 영상 부호화 장치의 다시점 깊이 영상 부호화 방법을 설명하기 위한 흐름도이다.
도 10은 도 9의 910단계를 보다 자세히 설명하기 위한 흐름도이다.
도 11은 다시점 깊이 영상 복호화 장치의 다시점 깊이 영상 복호화 방법을 설명하기 위한 흐름도이다.1 is a diagram illustrating an example of a prediction structure of a multiview color image coding method.
2 is a block diagram of a multiview depth image encoding apparatus.
3 is a view for explaining a method of calculating the inter-view correlation.
4 is a diagram illustrating an example of a prediction structure when the inter-view correlations among three depth images are all lower than a reference value.
5A and 5B illustrate an example of a prediction structure when only the correlation between two viewpoints among the inter-view correlations among three depth images is higher than a reference value.
6A to 6C illustrate an example of a prediction structure when the inter-view correlations among three depth images are all higher than a reference value.
7A and 7B are diagrams illustrating another example of a prediction structure when the inter-view correlations among three depth images are all higher than a reference value.
8 is a block diagram of a multiview depth image decoding apparatus.
9 is a flowchart illustrating a multiview depth image encoding method of a multiview depth image encoding apparatus.
FIG. 10 is a flowchart for describing operation 910 of FIG. 9 in more detail.
11 is a flowchart illustrating a multiview depth image decoding method of a multiview depth image decoding apparatus.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다시점 영상을 이용하는 3차원 비디오 시스템은, 다시점 영상을 이용하여 보다 많은 시점의 영상을 합성하기 위해 깊이 정보를 이용할 수 있다. 3차원 영상 시스템의 전송은 다시점 영상과 깊이 정보를 압축하여 전송하고, 수신단은 압축된 신호를 복원한 뒤 디스플레이 장치의 종류에 따라 적합한 시점의 영상을 선택하여 재현할 수 있다. 다시점 영상은 색상 영상일 수 있다.A 3D video system using a multiview image may use depth information to synthesize images of more viewpoints using the multiview image. The transmission of the 3D image system compresses and transmits the multiview image and the depth information, and the receiving end may restore the compressed signal and select and reproduce an image of a suitable viewpoint according to the type of display device. The multiview image may be a color image.

다시점 영상의 부호화는 기존 부호화 기술과의 호환성을 위해, 예를 들어, H.264/AVC 기술을 이용할 수 있다. 다시점 영상 부호화의 특징 중 하나는 계층적 B화면(Hierarchical B frame) 부호화를 이용한 시점간 참조 예측 구조를 사용하는 것이다.The encoding of a multiview image may use, for example, H.264 / AVC technology for compatibility with an existing encoding technology. One of the characteristics of multi-view image coding is to use an inter-view reference prediction structure using hierarchical B frame coding.

도 1은 다시점 색상 영상 부호화 방법의 예측 구조의 일 예를 보여주는 도면이다.1 is a diagram illustrating an example of a prediction structure of a multiview color image coding method.

도 1을 참조하면, 8시점의 색상 영상은 각각 시점간 색상 영상을 참조하여 부호화될 수 있다. 도 1에서, Sm은 m번째 시점의 촬영장치, Tn은 시간적으로 n번째 촬영된 색상 영상을 지칭한다. 화살표는 이웃하는 색상 영상들 간의 예측 참조 관계를 나타낸다. I 시점은 기존 시스템과의 호환성을 유지하기 위해 독립적으로 색상 영상을 복원할 수 있는 시점을 말한다. P 시점은 부호화가 끝난 하나의 시점만 참조하여 예측 부호화하는 시점을 말한다. B 시점은 양쪽의 두 시점을 참조하여 예측 부호화하는 시점을 말한다. 예를 들어, 도 1에서, S0의 시점이 I 시점에 해당하며, S2, S4, S6, S7 등의 시점이 P시점에 해당하며, S1, S3, S5 등의 시점이 B시점에 해당한다. Referring to FIG. 1, color images of eight views may be encoded by referring to color images between viewpoints. In FIG. 1, Sm denotes an image photographing device at an mth point in time, and Tn denotes a color image photographed at the nth point in time. Arrows indicate predictive reference relationships between neighboring color images. I point of view refers to a point in time at which color images can be independently restored to maintain compatibility with existing systems. The P point of view refers to a point of time of predictive encoding by referring to only one point of time that has been encoded. A view B refers to a view that is predictively encoded by referring to two views. For example, in FIG. 1, the viewpoint of S0 corresponds to the viewpoint of I, the viewpoints of S2, S4, S6, and S7 correspond to the P viewpoint, and the viewpoints of S1, S3, S5, and the like correspond to the B viewpoint.

도 1에 도시된 바와 같이 예측 구조가 결정되면, I 시점의 색상 영상→P 시점의 색상 영상→B 시점의 색상 영상 순서로 부호화될 수 있다. 즉, S0→S2→S1→S4→S3→S6→S5→S7 순으로 부호화가 수행될 수 있다. 임의 접근(Random Access)을 위해 일정한 간격으로 기준 화면(Anchor Frame)이 마련되며, 기준 화면은 시점간 예측을 이용하여 부호화될 수 있다. 이러한 부호화 구조를 이용하면 H.264/AVC로 독립적으로 부호화하는 것보다 비트수를 상당히 줄일 수 있다.As shown in FIG. 1, when the prediction structure is determined, the prediction structure may be encoded in the order of the color image of view I → the color image of view P → the color image of view B. That is, encoding may be performed in the order of S0 → S2 → S1 → S4 → S3 → S6 → S5 → S7. An anchor frame is provided at regular intervals for random access, and the reference screen may be encoded using inter-view prediction. Using this coding scheme, the number of bits can be considerably reduced compared to coding independently in H.264 / AVC.

도 2은 다시점 깊이 영상 부호화 장치(200)의 블록도이다.2 is a block diagram of the multiview depth image encoding apparatus 200.

도 2에 도시된 부호화 장치(200)는 3차원 비디오 시스템의 송신단에 속한다. 장치(200)는 다시점에서 촬영된 깊이 영상들을 부호화하기 위한 예측 구조를 결정 및 설계할 수 있다. 부호화 장치(200)는 깊이 영상들 간의 시점간 상관도를 고려하여 예측 구조, 즉, 인접한 깊이 영상의 참조 여부를 설계할 수 있다. 다시점 깊이 영상은 예를 들어, 동일한 피사체를 서로 다른 위치에서 촬영하는 복수 개의 촬영장치로부터 획득될 수 있다. The encoding apparatus 200 shown in FIG. 2 belongs to a transmitting end of a 3D video system. The apparatus 200 may determine and design a prediction structure for encoding the depth images photographed at a multiview. The encoding apparatus 200 may design a prediction structure, that is, whether the adjacent depth image is referenced in consideration of the inter-view correlation between the depth images. The multi-view depth image may be obtained from, for example, a plurality of photographing apparatuses photographing the same subject at different positions.

이를 위하여, 부호화 장치(200)는 상관도 산출부(210), 비교부(220), 예측 구조 결정부(230) 및 부호화부(240)를 포함할 수 있다.To this end, the encoding apparatus 200 may include a correlation calculator 210, a comparator 220, a prediction structure determiner 230, and an encoder 240.

상관도 산출부(210)는 서로 다른 시점에서 획득된 다시점 깊이 영상들(이하, '깊이 영상들'이라 한다)의 시점간 상관도를 산출할 수 있다. 이를 위하여, 상관도 산출부(210)는 워핑부(211) 및 연산부(213)를 포함할 수 있다.The correlation calculator 210 may calculate correlations between viewpoints of multi-view depth images (hereinafter, referred to as “depth images”) acquired at different viewpoints. To this end, the correlation calculator 210 may include a warping unit 211 and a calculator 213.

워핑부(211)는 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 제1시점에 인접하는 제2시점으로 이동시키는 워핑(warping)을 수행할 수 있다. 제2시점은 부호화할 깊이 영상의 시점으로서, 제1깊이 영상의 목표 시점일 수 있다.The warping unit 211 may warp the first depth image acquired at the first time point to be referred to among the depth images to a second time point adjacent to the first time point. The second viewpoint is a viewpoint of the depth image to be encoded and may be a target viewpoint of the first depth image.

도 3은 시점간 상관도를 산출하는 방법을 설명하기 위한 도면이다. 3 is a view for explaining a method of calculating the inter-view correlation.

도 3을 참조하면, 제1깊이 영상(DL)과 제2깊이 영상(DR)은 시점간 상관도를 산출하기 위한 영상들로서, 예를 들어, 각각 좌측 영상과 우측 영상일 수 있다. 제1깊이 영상(DL)은 참조할 제1시점에 대응하는 영상이며, 제2깊이 영상(DR)는 제2시점, 즉, 부호화할 목표 시점에 대응하는 영상이라고 가정한다.Referring to FIG. 3, the first depth image D L and the second depth image D R are images for calculating a correlation between viewpoints, and may be, for example, left and right images, respectively. It is assumed that the first depth image D L is an image corresponding to a first viewpoint to be referred to, and the second depth image D R is an image corresponding to a second viewpoint, that is, a target viewpoint to be encoded.

워핑부(211)는 제1깊이 영상(DL)을 제2깊이 영상(DR)의 시점, 즉, 제2시점으로 이동하는 워핑을 수행한다. 시점 이동된 깊이 영상, 즉, 워핑된 깊이 영상(Warped DL)에서 검은색으로 표시된 영역은 비폐색 영역(A)이다. 비폐색 영역(A)은 제1깊이 영상(DL)과 제2깊이 영상(DR) 사이에 상응화소가 존재하지 않는 영역이다. 상응화소는 두 시점의 영상(DL, DR)에서 동일한 객체를 가리키는 화소이다.The warping unit 211 performs warping to move the first depth image D L to a viewpoint of the second depth image D R , that is, a second viewpoint. The black region in the viewpoint shifted depth image, that is, the warped depth image Warped D L , is a non-occluded region A. FIG. The non-occluded area A is an area where no corresponding pixel exists between the first depth image D L and the second depth image D R. Corresponding pixels are pixels pointing to the same object in the images D L and D R at two viewpoints.

연산부(213)는 제1깊이 영상(DL)과 제2시점에서 획득된 제2깊이 영상(DR)의 상응화소들의 변위값(Disparity)들을 산출하며, 산출된 변위값들의 평균의 역수를 시점간 상관도를 정할 수 있다. The calculator 213 calculates displacements of the corresponding pixels of the first depth image D L and the second depth image D R obtained at the second time point, and calculates an inverse of the average of the calculated displacement values. Inter-view correlation can be determined.

자세히 설명하면, 제1깊이 영상(DL)과 제2깊이 영상(DR)의 상응화소를 각각 p와 q라 하는 경우, 가장 이상적인 경우, DL(p)= DR(p)이다. 즉, 제1깊이 영상(DL)과 제2깊이 영상(DR)의 깊이값이 정확하게 측정된 경우, DL(p)= DR(p)가 성립된다.In detail, when the corresponding pixels of the first depth image D L and the second depth image D R are respectively p and q, D L (p) = D R (p) is the most ideal case. That is, when the depth values of the first depth image D L and the second depth image D R are accurately measured, D L (p) = D R (p) is established.

그러나, 제1깊이 영상(DL)과 제2깊이 영상(DR) 간의 시점 상관도가 낮은 경우, 두 상응화소(p, q)의 깊이값들은 서로 다를 수 있다. 이를 식으로 표현하면 [수학식 1]과 같다.However, when the view correlation between the first depth image D L and the second depth image D R is low, the depth values of the two corresponding pixels p and q may be different from each other. If this is expressed as equation (1).

Figure pat00001
Figure pat00001

[수학식 1]에서

Figure pat00002
는 두 상응화소(p, q)의 깊이값의 차이로서, 변위벡터(Disparity Vector) 또는 변위값으로 정의될 수 있다. 이하에서는
Figure pat00003
를 변위값이라 하며, 이에 한정되지 않는다.
Figure pat00004
가 작을수록 두 시점의 깊이 영상들(DL, DR)의 상관도가 높다.In Equation 1
Figure pat00002
Is the difference between the depth values of the two corresponding pixels (p, q), and can be defined as a displacement vector or a displacement value. Below
Figure pat00003
Is called a displacement value, and is not limited thereto.
Figure pat00004
The smaller is, the higher the correlation between depth images D L and D R of two viewpoints.

연산부(213)는 모든 상응화소들에 대해 변위값을 연산하고, 연산된 변위값들의 평균의 역수를 시점간 상관도로 정의할 수 있다. The calculator 213 may calculate displacement values for all corresponding pixels, and may define an inverse correlation of the average of the calculated displacement values as an inter-view correlation.

Figure pat00005
Figure pat00005

[수학식 2]를 참조하면, SIMD(Similarity of Multi-view Depth)는 시점간 상관도, N은 폐색영역에 존재하는 상응화소들의 개수이다. 비폐색 영역(A)을 제외한 나머지 영역의 각 상응화소에는 깊이값이 할당되므로, 연산부(213)는 시점 이동한 제1깊이 영상(DL)과 목표 시점에 대응하는 제2깊이 영상(DR) 간의 차이를 이용하여 시점간 상관도를 산출할 수 있다.Referring to [Equation 2], SIMD (Similarity of Multi-view Depth) is the inter-view correlation, N is the number of corresponding pixels in the occlusion area. Since a depth value is assigned to each corresponding pixel of the remaining area except for the non-occluded area A, the operation unit 213 may shift the first depth image D L and the second depth image D R corresponding to the target viewpoint. The inter-view correlation may be calculated using the difference between the points of view.

상관도 산출부(210)는 서로 이웃하는 모든 깊이 영상들에 대해 상술한 방식을 적용하여 시점간 상관도를 산출할 수 있다.The correlation calculator 210 may calculate the correlation between views by applying the above-described method to all neighboring depth images.

다시 도 2를 참조하면, 예측 구조 결정부(230)는 연산부(213)에서 산출되는 시점간 상관도를 이용하여 깊이 영상들의 부호화 예측 구조를 결정 또는 설계할 수 있다. Referring back to FIG. 2, the prediction structure determiner 230 may determine or design an encoding prediction structure of depth images using the inter-view correlation calculated by the calculator 213.

예측 구조 결정부(230)는 깊이 영상들의 시점을 시점간 상관도를 고려하여 I 시점, P 시점 및 B 시점 중 하나로 정하여, 예측 구조를 결정할 수 있다. The prediction structure determiner 230 may determine the prediction structure by setting one of the viewpoints of the depth images as one of an I viewpoint, a P viewpoint, and a B viewpoint in consideration of the inter-view correlation.

I 시점의 경우, 예측 구조 결정부(230)는 깊이 영상의 예측 구조를 인트라 부호화 영상(Intra-Picture, 이하 'I 영상'이라 한다)으로 정할 수 있다. P 시점의 경우, 예측 구조 결정부(230)는 깊이 영상의 예측 구조를 예측 부호화 영상(Unidirectionally Predictive Picture, 이하 'P 영상'이라 한다)으로 정할 수 있다. B 시점의 경우, 예측 구조 결정부(230)는 깊이 영상의 예측 구조를 양방향 예측 부호화 영상(Bidirectionally Predictive Picture, 이하 'B 영상'이라 한다)으로 정할 수 있다.In the case of an I view, the prediction structure determiner 230 may determine a prediction structure of a depth image as an intra-picture (hereinafter, referred to as an “I image”). In the case of the P view, the prediction structure determiner 230 may determine the prediction structure of the depth image as a unidirectionally predictive picture (hereinafter, referred to as a 'P image'). In the case of view B, the prediction structure determiner 230 may determine the prediction structure of the depth image as a bidirectionally predictive picture (hereinafter, referred to as a 'B image').

자세히 설명하면, 예측 구조 결정부(230)는 산출된 복수 개의 시점간 상관도들이 모두 기설정된 기준값(TH)보다 작으면, 깊이 영상들 간의 시점간 상관도가 모두 낮은 것으로 판단할 수 있다. 따라서, 예측 구조 결정부(230)는 깊이 영상들 간의 참조 관계를 비활성화하고, 예측 구조를 결정할 수 있다. 예를 들어, 예측 구조 결정부(230)는 깊이 영상들의 예측 구조를 I 영상으로 결정할 수 있다. 기준값(TH)은 장치(200)의 메모리에 기설정될 수 있으며, 예를 들어, 3, 또는 3보다 크거나 작게 설정될 수 있다.In detail, the prediction structure determiner 230 may determine that all of the calculated correlations between the viewpoints are smaller than the predetermined reference value TH, and the correlation between the viewpoints between the depth images is all low. Therefore, the prediction structure determiner 230 may deactivate the reference relationship between the depth images and determine the prediction structure. For example, the prediction structure determiner 230 may determine the prediction structure of the depth images as an I image. The reference value TH may be preset in the memory of the apparatus 200, and may be set to, for example, 3 or greater than or less than 3.

도 4는 세 개의 깊이 영상들(D1, D2, D3)간의 시점간 상관도들이 모두 기준값보다 낮은 경우, 예측 구조의 일 예를 보여주는 도면이다.4 is a diagram illustrating an example of a prediction structure when the inter-view correlations between three depth images D1, D2, and D3 are lower than a reference value.

도 4를 참조하면, 깊이 영상들(D1, D2, D3)의 시점간 상관도는 낮으므로, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)의 예측 구조를 모두 I 시점으로 결정한다. 따라서, I 영상인 깊이 영상들(D1, D2, D3)은 독립적으로 인트라 부호화 방식에 의해 부호화된다.
Referring to FIG. 4, since the correlation between the viewpoints of the depth images D1, D2, and D3 is low, the prediction structure determiner 230 views all of the prediction structures of the depth images D1, D2, and D3 as I views. Decide on Therefore, depth images D1, D2, and D3 that are I images are independently encoded by an intra encoding scheme.

또한, 예측 구조 결정부(230)는 산출된 복수 개의 시점간 상관도들 중 적어도 두 개가 기준값(TH)보다 크면, 적어도 두 개의 깊이 영상들 간의 참조 관계를 활성화하고, 예측 구조를 결정할 수 있다. 예를 들어, 예측 구조 결정부(230)는 시점간 상관도가 산출된 깊이 영상들 중 하나의 예측 구조는 I 영상으로 결정하고, 그 외의 깊이 영상들의 예측 구조는 P 영상으로 결정할 수 있다.In addition, when at least two of the calculated inter-view correlations are greater than the reference value TH, the prediction structure determiner 230 may activate a reference relationship between the at least two depth images and determine the prediction structure. For example, the prediction structure determiner 230 may determine one prediction structure among depth images from which the inter-view correlation is calculated as an I image, and determine a prediction structure of other depth images as a P image.

도 5a 및 도 5b는 세 개의 깊이 영상들(D1, D2, D3)간의 시점간 상관도들 중 두 시점 간의 상관도만이 기준값보다 높은 경우, 예측 구조의 일 예를 보여주는 도면이다.5A and 5B illustrate an example of a prediction structure when only the correlation between two viewpoints among the inter-view correlations among the three depth images D1, D2, and D3 is higher than the reference value.

도 5a를 참조하면, 깊이 영상들(D1, D2) 간의 시점간 상관도와 깊이 영상들(D1, D3) 간의 시점간 상관도가 높으므로, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)의 예측 구조를 각각 P 영상, I 영상 및 I 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D2, D3)은 독립적으로 인트라 부호화 방식에 의해 부호화되며, P 영상인 깊이 영상(D1)은 부호화된 깊이 영상(D2)를 참조하여 부호화된다.Referring to FIG. 5A, since the inter-view correlation between the depth images D1 and D2 and the inter-view correlation between the depth images D1 and D3 are high, the prediction structure determiner 230 may determine the depth images D1, D, and D. The prediction structures of D2 and D3) are determined as P image, I image and I image, respectively. Therefore, the depth images D2 and D3 which are I images are independently encoded by an intra encoding scheme, and the depth image D1 which is a P image is encoded by referring to the encoded depth image D2.

도 5b를 참조하면, 깊이 영상들(D1, D3) 간의 시점간 상관도와 깊이 영상들(D2, D3) 간의 시점간 상관도가 높으므로, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)의 예측 구조를 각각 I 영상, I 영상 및 P 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D1, D2)은 독립적으로 인트라 부호화 방식에 의해 부호화되며, P 영상인 깊이 영상(D3)은 부호화된 깊이 영상(D2)을 참조하여 부호화된다.
Referring to FIG. 5B, since the inter-view correlation between the depth images D1 and D3 and the inter-view correlation between the depth images D2 and D3 are high, the prediction structure determiner 230 may determine the depth images D1, D, and D. The prediction structures of D2 and D3) are determined as I image, I image and P image, respectively. Therefore, the depth images D1 and D2 which are I images are independently encoded by an intra coding scheme, and the depth image D3 which is a P image is encoded by referring to the encoded depth image D2.

또한, 예측 구조 결정부(230)는 산출된 시점간 상관도들이 모두 기준값(TH)보다 크면, 깊이 영상들 모두의 시점간 상관도가 높은 것으로 판단할 수 있다. 따라서, 예측 구조 결정부(230)는 깊이 영상들 간의 참조 관계를 활성화하고, 예측 구조를 결정할 수 있다. 예를 들어, 예측 구조 결정부(230)는 깊이 영상들의 예측 구조를 I 영상, P 영상 및 B 영상 중 적어도 두 개를 이용하여 결정할 수 있다.In addition, when all of the calculated inter-view correlations are greater than the reference value TH, the prediction structure determiner 230 may determine that the inter-view correlations of all the depth images are high. Accordingly, the prediction structure determiner 230 may activate a reference relationship between the depth images and determine the prediction structure. For example, the prediction structure determiner 230 may determine the prediction structure of the depth images using at least two of an I image, a P image, and a B image.

도 6a 내지 도 6c는 세 개의 깊이 영상들(D1, D2, D3)간의 시점간 상관도들이 모두 기준값보다 높은 경우, 예측 구조의 일 예를 보여주는 도면이다.6A to 6C are diagrams illustrating an example of a prediction structure when the inter-view correlations among three depth images D1, D2, and D3 are all higher than a reference value.

도 6a 내지 도 6b를 참조하면, 예측 구조 결정부(230)는 I 영상과 P 영상을 이용하여 깊이 영상들(D1, D2, D3)의 예측 구조를 결정한다. 6A to 6B, the prediction structure determiner 230 determines the prediction structures of the depth images D1, D2, and D3 using the I image and the P image.

도 6a의 경우, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)의 예측 구조를 각각 I 영상, P 영상 및 P 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D1)은 인트라 부호화 방식에 의해 독립적으로 부호화되고, P 영상인 깊이 영상(D2)은 부호화된 깊이 영상(D1)을 참조하여 부호화되며, P 영상인 깊이 영상(D3)은 부호화된 깊이 영상(D2)을 참조하여 부호화된다.In the case of FIG. 6A, the prediction structure determiner 230 determines the prediction structures of the depth images D1, D2, and D3 as I, P, and P images, respectively. Therefore, the depth image D1, which is an I image, is independently encoded by an intra coding scheme, and the depth image D2, which is a P image, is encoded by referring to the encoded depth image D1, and the depth image D3, which is a P image. ) Is encoded by referring to the encoded depth image D2.

도 6b의 경우, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)을 각각 P 영상, I 영상 및 P 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D2)은 독립적으로 부호화되고, P 영상인 깊이 영상(D1, D3)은 부호화된 깊이 영상(D2)를 참조하여 부호화된다.In the case of FIG. 6B, the prediction structure determiner 230 determines the depth images D1, D2, and D3 as P images, I images, and P images, respectively. Therefore, the depth image D2, which is an I image, is independently encoded, and the depth images D1 and D3, which are P images, are encoded with reference to the encoded depth image D2.

도 6c의 경우, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)을 각각 P 영상, P 영상 및 I 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D3)은 독립적으로 부호화되고, P 영상인 깊이 영상(D2)는 부호화된 깊이 영상(D3)를 참조하여 부호화되며, P 영상인 깊이 영상(D3)는 부호화된 깊이 영상(D2)를 참조하여 부호화된다.In the case of FIG. 6C, the prediction structure determiner 230 determines the depth images D1, D2, and D3 as P images, P images, and I images, respectively. Therefore, the depth image D3, which is an I image, is independently encoded, and the depth image D2, which is a P image, is encoded by referring to the encoded depth image D3, and the depth image D3, which is a P image, is encoded depth. It is encoded with reference to the image D2.

도 7a 및 도 7b는 세 개의 깊이 영상들(D1, D2, D3)간의 시점간 상관도들이 모두 기준값보다 높은 경우, 예측 구조의 다른 예를 보여주는 도면이다.7A and 7B illustrate another example of a prediction structure when the inter-view correlations between three depth images D1, D2, and D3 are all higher than a reference value.

도 7a 및 도 7b를 참조하면, 예측 구조 결정부(230)는 I 영상, P 영상 및 B 영상을 이용하여 깊이 영상들(D1, D2, D3)의 예측 구조를 결정한다. 7A and 7B, the prediction structure determiner 230 determines the prediction structures of the depth images D1, D2, and D3 using the I image, the P image, and the B image.

도 7a의 경우, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)을 각각 I 영상, B 영상 및 P 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D1)은 인트라 부호화 방식에 의해 독립적으로 부호화되고, P 영상인 깊이 영상(D3)은 부호화된 깊이 영상(D1)를 참조하여 부호화되고, B 영상인 깊이 영상(D2)은 부호화된 깊이 영상(D1, D3)을 참조하여 부호화된다.In the case of FIG. 7A, the prediction structure determiner 230 determines the depth images D1, D2, and D3 as I, B, and P images, respectively. Therefore, the depth image D1, which is an I image, is independently encoded by an intra coding scheme, and the depth image D3, which is a P image, is encoded by referring to the encoded depth image D1, and the depth image D2, which is a B image. ) Is encoded by referring to the encoded depth images D1 and D3.

도 7b의 경우, 예측 구조 결정부(230)는 깊이 영상들(D1, D2, D3)을 각각 P 영상, B 영상 및 I 영상으로 결정한다. 따라서, I 영상인 깊이 영상(D3)은 독립적으로 부호화되고, P 영상인 깊이 영상(D1)은 부호화된 깊이 영상(D1)을 참조하여 부호화되며, B 영상인 깊이 영상(D2)은 부호화된 깊이 영상(D1, D3)을 참조하여 부호화된다.In FIG. 7B, the prediction structure determiner 230 determines the depth images D1, D2, and D3 as P images, B images, and I images, respectively. Therefore, the depth image D3, which is an I image, is independently encoded, and the depth image D1, which is a P image, is encoded with reference to the encoded depth image D1, and the depth image D2, which is a B image, is encoded depth. The image is encoded with reference to the images D1 and D3.

다시 도 2를 참조하면, 부호화부(240)는 예측 구조 결정부(230)에서 결정된 부호화 예측 구조에 따라 깊이 영상들을 부호화할 수 있다. I 영상의 경우, 부호화부(240)는 깊이 영상을 인트라 부호화 방식으로 독립적으로 부호화할 수 있다. P 영상의 경우, 부호화부(240)는 깊이 영상을 예측 부호화 방식으로 부호화할 수 있다. B 영상의 경우, 부호화부(240)는 깊이 영상을 양방향 예측 부호화 방식으로 부호화할 수 있다. 부호화된 깊이 영상들은 압축된 비트스트림 형태로 수신단으로 전송될 수 있다.
Referring back to FIG. 2, the encoder 240 may encode depth images according to the encoding prediction structure determined by the prediction structure determiner 230. In the case of an I image, the encoder 240 may independently encode a depth image by an intra encoding method. In the case of a P image, the encoder 240 may encode a depth image by using a predictive encoding method. In the case of a B image, the encoder 240 may encode a depth image by a bidirectional predictive encoding method. The encoded depth images may be transmitted to the receiver in the form of a compressed bitstream.

도 8은 다시점 깊이 영상 복호화 장치(800)의 블록도이다.8 is a block diagram of the multiview depth image decoding apparatus 800.

도 8에 도시된 복호화 장치(800)는 3차원 비디오 시스템의 수신단에 속할 수 있다. 도 8을 참조하면, 복호화 장치(800)는 예측 구조 확인부(810) 및 복호화부(820)를 포함할 수 있다.The decoding apparatus 800 illustrated in FIG. 8 may belong to a receiving end of the 3D video system. Referring to FIG. 8, the decoding apparatus 800 may include a prediction structure checking unit 810 and a decoding unit 820.

예측 구조 확인부(810)는 송신단 측에서 압축된 비트 스트림을 입력받는다. 비트 스트림은 시점간 상관도를 고려하여 부호화된 깊이 영상들이다. 송신단은 도 2의 다시점 깊이 영상 부호화 장치(200)일 수 있다.The prediction structure checking unit 810 receives a compressed bit stream at the transmitting end. Bit streams are depth images encoded in consideration of inter-view correlation. The transmitter may be the multi-view depth image encoding apparatus 200 of FIG. 2.

시점간 상관도는, 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 제1시점에 인접하는 제2시점으로 이동하고, 제1깊이 영상과 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하며, 산출된 변위값들의 평균에 역수를 취하여 산출된 값을 갖는다.The inter-view correlation may include moving a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point, and obtaining a second depth image at a second time point. The displacement values of the corresponding pixels of the depth image are calculated and have a value calculated by taking an inverse of the average of the calculated displacement values.

복호화부(820)는 예측 구조 확인부(810)에서 확인된 예측 구조를 이용하여 깊이 영상들을 복호화할 수 있다.
The decoder 820 may decode depth images using the prediction structure confirmed by the prediction structure checking unit 810.

도 9는 다시점 깊이 영상 부호화 장치의 다시점 깊이 영상 부호화 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a multiview depth image encoding method of a multiview depth image encoding apparatus.

도 9의 다시점 깊이 영상 부호화 장치는 도 2를 참조하여 설명한 장치(200)일 수 있다. 이하에서는 다시점 깊이 영상 부호화 장치를 '부호화 장치'라 한다.The multi-view depth image encoding apparatus of FIG. 9 may be the apparatus 200 described with reference to FIG. 2. Hereinafter, the multi-view depth image encoding apparatus is called a 'coding apparatus'.

910단계에서, 부호화 장치는 서로 다른 시점에서 획득된 다시점 깊이 영상들(이하, '깊이 영상들'이라 한다)의 시점간 상관도를 산출할 수 있다. 910단계는 도 10을 참조하여 보다 상세히 설명한다.In operation 910, the encoding apparatus may calculate a correlation between viewpoints of multi-view depth images (hereinafter, referred to as “depth images”) acquired at different viewpoints. Operation 910 will be described in more detail with reference to FIG. 10.

920단계에서, 부호화 장치는 산출된 시점간 상관도가 기설정된 기준값(TH)보다 크면, 깊이 영상들 간의 시점간 상관도가 높은 것으로 판단한다. In operation 920, if the calculated inter-view correlation is greater than a predetermined reference value TH, the encoding apparatus determines that the inter-view correlation between depth images is high.

930단계에서, 부호화 장치는 깊이 영상들 간의 참조 관계를 이용하여 깊이 영상들의 예측 구조를 결정할 수 있다. 즉, 부호화 장치는 깊이 영상들의 시점을 시점간 상관도를 고려하여 I 영상, P 영상 및 B 영상 중 하나로 정하여, 예측 구조를 결정할 수 있다. In operation 930, the encoding apparatus may determine a prediction structure of the depth images using the reference relationship between the depth images. That is, the encoding apparatus may determine the prediction structure by determining the viewpoints of the depth images as one of the I image, the P image, and the B image in consideration of the inter-view correlation.

예를 들어, 복수 개의 시점간 상관도들 중 적어도 두 개가 기준값(TH)보다 크면, 부호화 장치는 도 5a 또는 도 5b에 도시된 바와 같이, 깊이 영상들의 예측 구조를 I 영상과 P 영상을 이용하여 결정할 수 있다.For example, if at least two of the correlations among the plurality of viewpoints are larger than the reference value TH, the encoding apparatus may use the I and P images to predict the structure of the depth images, as illustrated in FIG. 5A or 5B. You can decide.

또 다른 예를 들어, 부호화 장치는 시점간 상관도들이 모두 기준값(TH)보다 크면, 깊이 영상들 모두의 시점간 상관도가 높은 것으로 판단할 수 있다. 따라서, 부호화 장치는 도 6a 내지 도 6c, 도 7a 및 도 7b에 도시된 바와 같이, 깊이 영상들의 예측 구조를 I 영상, P 영상 및 B 영상 중 적어도 두 개를 이용하여 결정할 수 있다.As another example, if all of the inter-view correlations are greater than the reference value TH, the encoding apparatus may determine that the inter-view correlations of all the depth images are high. Therefore, as shown in FIGS. 6A to 6C, 7A, and 7B, the encoding apparatus may determine the prediction structure of the depth images using at least two of I, P, and B images.

한편, 920단계에서, 부호화 장치는 복수 개의 시점간 상관도들이 모두 기준값(TH)보다 작으면, 깊이 영상들 간의 시점간 상관도가 모두 낮은 것으로 판단할 수 있다. In operation 920, when the plurality of inter-view correlations are smaller than the reference value TH, the encoding apparatus may determine that the inter-view correlations between the depth images are all low.

940단계에서, 부호화 장치는 깊이 영상들 간의 참조 관계를 비활성화하고, 깊이 영상들의 예측 구조를 독립적으로 결정할 수 있다. 예를 들어, 부호화 장치는 도 4에 도시된 바와 같이, 깊이 영상들의 시점을 모두 I 시점으로 정할 수 있다.In operation 940, the encoding apparatus may deactivate a reference relationship between the depth images and independently determine the prediction structure of the depth images. For example, as shown in FIG. 4, the encoding apparatus may determine all the viewpoints of the depth images as the I viewpoints.

950단계에서, 부호화 장치는 930단계 및 940단계에서 결정된 부호화 예측 구조에 따라 깊이 영상들을 부호화할 수 있다. 부호화 장치는, I 영상의 경우, 깊이 영상을 인트라 부호화 방식으로 부호화하며, P 영상의 경우, 깊이 영상을 예측 부호화 방식으로 부호화하며, B 영상의 경우, 깊이 영상을 양방향 예측 부호화 방식으로 부호화할 수 있다.In operation 950, the encoding apparatus may encode the depth images according to the encoding prediction structures determined in operation 930 and 940. The encoding apparatus may encode the depth image using the intra coding scheme in the case of an I image, encode the depth image in the predictive coding scheme in the case of a P image, and encode the depth image in the bidirectional predictive coding scheme in the case of a B image. have.

도 10은 도 9의 910단계를 보다 자세히 설명하기 위한 흐름도이다.FIG. 10 is a flowchart for describing operation 910 of FIG. 9 in more detail.

1010단계에서, 부호화 장치는 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 제1시점에 인접하는 제2시점으로 이동시키는 워핑(warping)을 수행한다.In operation 1010, the encoding apparatus warps a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point.

1020단계에서, 부호화 장치는 [수학식 1]을 이용하여, 제1깊이 영상과 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값(Disparity)들을 연산한다.In operation 1020, the encoding apparatus calculates displacement values of corresponding pixels of the first depth image and the second depth image acquired at the second time point using Equation 1.

1030단계에서, 부호화 장치는 [수학식 2]를 이용하여, 1020단계에서 산출된 변위값들의 평균을 연산한다.In operation 1030, the encoding apparatus calculates an average of the displacement values calculated in operation 1020 using Equation 2.

1040단계에서, 부호화 장치는 930단계에서 산출된 평균의 역수를 시점간 상관도로 설정한다.In operation 1040, the encoding apparatus sets the inverse of the average calculated in operation 930 as an inter-view correlation.

도 11은 다시점 깊이 영상 복호화 장치의 다시점 깊이 영상 복호화 방법을 설명하기 위한 흐름도이다.11 is a flowchart illustrating a multiview depth image decoding method of a multiview depth image decoding apparatus.

도 11의 다시점 깊이 영상 복호화 장치는 도 8을 참조하여 설명한 장치(800)일 수 있다. 이하에서는 다시점 깊이 영상 복호화 장치를 '복호화 장치'라 한다.The multi-view depth image decoding apparatus of FIG. 11 may be the apparatus 800 described with reference to FIG. 8. Hereinafter, the multi-view depth image decoding apparatus is called a 'decoding apparatus'.

1110단계에서, 복호화 장치는 시점간 상관도를 고려하여 부호화된 깊이 영상들을 입력받아, 각 깊이 영상의 부호화 예측 구조를 확인한다. In operation 1110, the decoding apparatus receives the encoded depth images in consideration of the inter-view correlation, and checks the encoding prediction structure of each depth image.

시점간 상관도는, 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 제1시점에 인접하는 제2시점으로 이동하고, 제1깊이 영상과 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하며, 산출된 변위값들의 평균에 역수를 취하여 산출된 값을 갖는다.The inter-view correlation may include moving a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point, and obtaining a second depth image at a second time point. The displacement values of the corresponding pixels of the depth image are calculated and have a value calculated by taking an inverse of the average of the calculated displacement values.

1120단계에서, 복호화 장치는, 1110단계에서 확인된 예측 구조를 이용하여 깊이 영상들을 복호화할 수 있다.In operation 1120, the decoding apparatus may decode depth images using the prediction structure identified in operation 1110.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

200: 다시점 깊이 영상 부호화 장치 210: 상관도 산출부
220: 비교부 230: 예측 구조 결정부
240: 부호화부200: Multiview depth image encoding apparatus 210: Correlation calculator
220: comparison unit 230: prediction structure determination unit
240: encoder

Claims (18)

서로 다른 시점(View Point)에서 획득된 깊이 영상들에 대한 시점간 상관도(SIMD: Similarity of Multi-View Depth)를 산출하는 상관도 산출부;
상기 산출되는 시점간 상관도를 이용하여 상기 깊이 영상들의 부호화 예측 구조를 결정하는 예측 구조 결정부; 및
상기 결정된 부호화 예측 구조에 따라 상기 깊이 영상들을 부호화하는 부호화부
를 포함하는, 다시점 깊이 영상 부호화 장치.A correlation calculator configured to calculate a similarity of multi-view depth (SIMD) for depth images acquired at different viewpoints;
A prediction structure determiner which determines a coding prediction structure of the depth images using the calculated inter-view correlation; And
An encoder that encodes the depth images according to the determined encoding prediction structure.
The multi-view depth image encoding apparatus comprising a. 제1항에 있어서,
상기 상관도 산출부는,
상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동시키는 워핑부; 및
상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하며, 상기 산출된 변위값들의 평균의 역수를 상기 시점간 상관도로 정하는 연산부
를 포함하는, 다시점 깊이 영상 부호화 장치.The method of claim 1,
The correlation calculation unit,
A warping unit configured to move a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point; And
A calculation unit configured to calculate displacement values of corresponding pixels of the first depth image and the second depth image acquired at the second time point, and to determine a reciprocal of an average of the calculated displacement values as the inter-view correlation
The multi-view depth image encoding apparatus comprising a. 제1항에 있어서,
상기 예측 구조 결정부는,
상기 산출된 시점간 상관도들이 모두 기준값보다 작으면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 비활성화하고, 상기 깊이 영상들의 예측 구조를 인트라 부호화 영상(Intra-Picture)으로 결정하는, 다시점 깊이 영상 부호화 장치.The method of claim 1,
The prediction structure determiner,
If all of the calculated inter-view correlations are smaller than a reference value, the reference relationship between depth images from which the inter-view correlation is calculated is deactivated, and the prediction structure of the depth images is determined as an intra-picture. , Multi-view depth image encoding apparatus. 제1항에 있어서,
상기 예측 구조 결정부는,
상기 산출된 시점간 상관도들 중 적어도 두 개가 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 활성화하여, 상기 예측 구조를 결정하는, 다시점 깊이 영상 부호화 장치.The method of claim 1,
The prediction structure determiner,
And when at least two of the calculated inter-view correlations are greater than a reference value, activating a reference relationship between depth images from which the inter-view correlation is calculated, and determining the prediction structure. 제4항에 있어서,
상기 예측 구조 결정부는,
상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 영상 및 예측 부호화 영상 (Unidirectionally Predicted Pictures) 중 하나로 결정하는, 다시점 깊이 영상 부호화 장치.The method of claim 4, wherein
The prediction structure determiner,
And determining a prediction structure of the depth images from which the inter-view correlation is calculated as one of an intra coded image and a unidirectionally predicted picture. 제5항에 있어서,
상기 예측 구조 결정부는,,
상기 시점간 상관도가 산출된 깊이 영상들 중 하나의 예측 구조는 상기 인트라 부호화 영상으로 결정하고, 그 외의 깊이 영상들의 예측 구조는 예측 부호화 영상으로 결정하는, 다시점 깊이 영상 부호화 장치.The method of claim 5,
The prediction structure determiner,
The prediction structure of one of the depth images from which the inter-view correlation is calculated is determined as the intra coded image, and the prediction structure of the other depth images is determined as a predictive coded image. 제1항에 있어서,
상기 예측 구조 결정부는,
상기 산출된 시점간 상관도들이 모두 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 영상, 양방향 예측 부호화(Bidirecitionally Predictive Pictures) 시점 및 예측 부호화 영상 중 적어도 두 개를 이용하여 결정하는, 다시점 깊이 영상 부호화 장치.The method of claim 1,
The prediction structure determiner,
If all of the calculated inter-view correlations are greater than a reference value, the prediction structure of the depth images from which the inter-view correlation is calculated is used by using at least two of an intra coded image, a bidirectional predictively encoded image, and a predictively encoded image. A multi-view depth image encoding apparatus. 서로 다른 시점(View Point)에서 획득된 깊이 영상들에 대한 시점간 상관도(SIMD: Similarity of Multi-View Depth)를 산출하는 단계;
상기 산출되는 시점간 상관도를 이용하여 상기 깊이 영상들의 부호화 예측 구조를 결정하는 단계; 및
상기 결정된 부호화 예측 구조에 따라 상기 깊이 영상들을 부호화하는 단계
를 포함하는, 다시점 깊이 영상 부호화 방법.Calculating a similarity of multi-view depth (SIMD) for depth images acquired at different viewpoints;
Determining a coding prediction structure of the depth images using the calculated inter-view correlation; And
Encoding the depth images according to the determined encoding prediction structure.
Multi-view depth image encoding method comprising a. 제8항에 있어서,
상기 산출하는 단계는,
상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동하는 단계;
상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하는 단계; 및
상기 산출된 변위값들의 평균의 역수를 산출하여 상기 시점간 상관도로 정하는 단계
를 포함하는, 다시점 깊이 영상 부호화 방법.The method of claim 8,
Wherein the calculating step comprises:
Moving a first depth image acquired at a first time point to be referred to among the depth images to a second time point adjacent to the first time point;
Calculating displacement values of corresponding pixels of the first depth image and the second depth image acquired at the second time point; And
Calculating a reciprocal of the average of the calculated displacement values and determining the correlation between the viewpoints
Multi-view depth image encoding method comprising a. 제8항에 있어서,
상기 결정하는 단계는,
상기 산출된 시점간 상관도들이 모두 기준값보다 작으면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 비활성화하고, 상기 깊이 영상들의 예측 구조를 인트라 부호화 영상(Intra-Picture)으로 결정하는, 다시점 깊이 영상 부호화 방법.The method of claim 8,
The determining step,
If all of the calculated inter-view correlations are smaller than a reference value, the reference relationship between depth images from which the inter-view correlation is calculated is deactivated, and the prediction structure of the depth images is determined as an intra-picture. , Multiview depth image coding method. 제8항에 있어서,
상기 결정하는 단계는,
상기 산출된 시점간 상관도들 중 적어도 두 개가 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들 간의 참조 관계를 활성화하여, 상기 예측 구조를 결정하는, 다시점 깊이 영상 부호화 방법.The method of claim 8,
The determining step,
And when at least two of the calculated inter-view correlations are greater than a reference value, determining a prediction structure by activating a reference relationship between the depth images from which the inter-view correlation is calculated. 제11항에 있어서,
상기 산출된 시점간 상관도들 중 적어도 두 개가 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 영상 및 예측 부호화 영상(Unidirectionally Predicted Pictures) 중 하나로 결정하는, 다시점 깊이 영상 부호화 방법.The method of claim 11,
If at least two of the calculated inter-view correlations are greater than a reference value, a multi-view depth determining a prediction structure of the depth images from which the inter-view correlation is calculated as one of an intra coded image and a unidirectionally predicted picture. Image coding method. 제12항에 있어서,
상기 결정하는 단계는,
상기 시점간 상관도가 산출된 깊이 영상들 중 하나의 예측 구조는 상기 인트라 부호화 영상으로 결정하고, 그 외의 깊이 영상들의 예측 구조는 예측 부호화 영상으로 결정하는, 다시점 깊이 영상 부호화 방법.The method of claim 12,
The determining step,
The prediction structure of one of the depth images from which the inter-view correlation is calculated is determined as the intra coded image, and the prediction structure of the other depth images is determined as a predictive coded image. 제8항에 있어서,
상기 결정하는 단계는,
상기 산출된 시점간 상관도들이 모두 기준값보다 크면, 상기 시점간 상관도가 산출된 깊이 영상들의 예측 구조를 인트라 부호화 영상, 양방향 예측 부호화 영상(Bidirecitionally Predictive Pictures) 및 예측 부호화 영상 중 적어도 두 개를 이용하여 결정하는, 다시점 깊이 영상 부호화 방법.The method of claim 8,
The determining step,
If all of the calculated inter-view correlations are larger than a reference value, the prediction structure of the depth images from which the inter-view correlation is calculated may be used by using at least two of an intra coded image, a bidirectional predictive coded image, and a predictive coded image. Multi-view depth image encoding method. 시점간 상관도를 고려하여 부호화된 깊이 영상들의 예측 구조를 확인하는 예측 구조 확인부; 및
상기 확인된 예측 구조를 이용하여 상기 깊이 영상들을 복호화하는 복호화부
를 포함하는, 다시점 깊이 영상 복호화 장치.A prediction structure checking unit which checks the prediction structure of the encoded depth images in consideration of the inter-view correlation; And
A decoder that decodes the depth images using the identified prediction structure
A multi-view depth image decoding apparatus comprising a. 제15항에 있어서,
상기 시점간 상관도는,
상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동하고, 상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하고, 상기 산출된 변위값들의 평균에 역수를 취하여 산출된 값을 가지는, 다시점 깊이 영상 부호화 장치.16. The method of claim 15,
The correlation between the viewpoints,
The first depth image acquired at the first time point to be referred to among the depth images is moved to a second time point adjacent to the first time point, and the first depth image and the second depth image obtained at the second time point are obtained. And a value calculated by calculating displacement values of corresponding pixels of and taking an inverse of the average of the calculated displacement values. 시점간 상관도를 고려하여 부호화된 깊이 영상들의 예측 구조를 확인하는 단계; 및
상기 확인된 예측 구조를 이용하여 상기 깊이 영상들을 복호화하는 단계
를 포함하는, 다시점 깊이 영상 복호화 방법.Identifying a prediction structure of encoded depth images in consideration of inter-view correlation; And
Decoding the depth images using the identified prediction structure
The multi-view depth image decoding method comprising a. 제17항에 있어서,
상기 시점간 상관도는,
상기 깊이 영상들 중 참조할 제1시점에서 획득된 제1깊이 영상을, 상기 제1시점에 인접하는 제2시점으로 이동하고, 상기 제1깊이 영상과 상기 제2시점에서 획득된 제2깊이 영상의 상응화소들의 변위값들을 산출하고, 상기 산출된 변위값들의 평균에 역수를 취하여 산출된 값을 가지는, 다시점 깊이 영상 부호화 방법.The method of claim 17,
The correlation between the viewpoints,
The first depth image acquired at the first time point to be referred to among the depth images is moved to a second time point adjacent to the first time point, and the first depth image and the second depth image obtained at the second time point are obtained. And a value calculated by calculating displacement values of corresponding pixels of and taking an inverse of the average of the calculated displacement values.
KR1020100059967A 2010-06-24 2010-06-24 Method and Apparatus for Multiview Depth image Coding and Decoding KR101599042B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100059967A KR101599042B1 (en) 2010-06-24 2010-06-24 Method and Apparatus for Multiview Depth image Coding and Decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100059967A KR101599042B1 (en) 2010-06-24 2010-06-24 Method and Apparatus for Multiview Depth image Coding and Decoding

Publications (2)

Publication Number Publication Date
KR20110139882A true KR20110139882A (en) 2011-12-30
KR101599042B1 KR101599042B1 (en) 2016-03-03

Family

ID=45505195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100059967A KR101599042B1 (en) 2010-06-24 2010-06-24 Method and Apparatus for Multiview Depth image Coding and Decoding

Country Status (1)

Country Link
KR (1) KR101599042B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067715A (en) * 2013-01-10 2013-04-24 华为技术有限公司 Encoding and decoding methods and encoding and decoding device of range image
WO2014010820A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
KR101378910B1 (en) * 2012-08-28 2014-03-31 광운대학교 산학협력단 An Intermediate View Image Generation Method for an Virtual Arbitrary View-Point Hologram Service
CN104065972A (en) * 2013-03-21 2014-09-24 乐金电子(中国)研究开发中心有限公司 Depth image coding method and apparatus, and encoder
CN105075268A (en) * 2013-04-11 2015-11-18 日本电信电话株式会社 Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium
US10034021B2 (en) 2013-01-10 2018-07-24 Huawei Technologies Co., Ltd. Methods and apparatuses for coding and decoding depth map

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122717A (en) * 2004-06-25 2005-12-29 학교법인연세대학교 Method for coding/decoding for multiview sequence where view selection is possible

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122717A (en) * 2004-06-25 2005-12-29 학교법인연세대학교 Method for coding/decoding for multiview sequence where view selection is possible

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9798919B2 (en) 2012-07-10 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2014010820A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
KR20140008226A (en) * 2012-07-10 2014-01-21 삼성전자주식회사 Method and apparatus for estimating motion of image using disparity information of multi view image
KR101378910B1 (en) * 2012-08-28 2014-03-31 광운대학교 산학협력단 An Intermediate View Image Generation Method for an Virtual Arbitrary View-Point Hologram Service
CN103067715B (en) * 2013-01-10 2016-12-28 华为技术有限公司 The decoding method of depth image and coding and decoding device
CN103067715A (en) * 2013-01-10 2013-04-24 华为技术有限公司 Encoding and decoding methods and encoding and decoding device of range image
US10034021B2 (en) 2013-01-10 2018-07-24 Huawei Technologies Co., Ltd. Methods and apparatuses for coding and decoding depth map
US10063883B2 (en) 2013-01-10 2018-08-28 Huawei Technologies Co., Ltd. Methods and apparatuses for coding and decoding depth map
US10455251B2 (en) 2013-01-10 2019-10-22 Huawei Technologies Co., Ltd. Methods and apparatuses for coding and decoding depth map
US10582217B2 (en) 2013-01-10 2020-03-03 Huawei Technologies Co., Ltd. Methods and apparatuses for coding and decoding depth map
CN104065972A (en) * 2013-03-21 2014-09-24 乐金电子(中国)研究开发中心有限公司 Depth image coding method and apparatus, and encoder
CN104065972B (en) * 2013-03-21 2018-09-28 乐金电子(中国)研究开发中心有限公司 A kind of deepness image encoding method, device and encoder
CN105075268A (en) * 2013-04-11 2015-11-18 日本电信电话株式会社 Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium

Also Published As

Publication number Publication date
KR101599042B1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR101545008B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
KR100667830B1 (en) Method and apparatus for encoding multiview video
KR101227601B1 (en) Method for interpolating disparity vector and method and apparatus for encoding and decoding multi-view video
US10798416B2 (en) Apparatus and method for motion estimation of three dimension video
KR101276720B1 (en) Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof
KR101158491B1 (en) Apparatus and method for encoding depth image
KR100728009B1 (en) Method and apparatus for encoding multiview video
JP4663792B2 (en) Apparatus and method for encoding and decoding multi-view video
US10999583B2 (en) Scalability of multi-directional video streaming
KR20120000485A (en) Apparatus and method for depth coding using prediction mode
KR20110139882A (en) Method and apparatus for multiview depth image coding and decoding
KR100584603B1 (en) Direct mode motion prediction method and apparatus for multi-view video
KR20100022065A (en) Video encoding method, decoding method, device thereof, program thereof, and recording medium containing the program
JP4786585B2 (en) Multi-view video encoder
WO2013039031A1 (en) Image encoder, image-decoding unit, and method and program therefor
JP4746702B1 (en) Multi-view image encoding device
JP4815004B2 (en) Multi-view image encoding device
JP2013085156A (en) Video encoding method, video decoding method, video encoder, video decoder, and program of video encoder and video decoder
KR20110136014A (en) Apparatus and method for multi-view depth image coding/decoding
Zare et al. Self-contained slices in H. 264 for partial video decoding targeting 3D light-field displays
JP5759357B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program
KR101261577B1 (en) Apparatus and method for encoding and decoding multi view video
KR20120084628A (en) Apparatus and method for encoding and decoding multi-view image
KR102020024B1 (en) Apparatus and method for encoding/decoding using virtual view synthesis prediction
JP2013211777A (en) Image coding device, image decoding device, image coding method, image decoding method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee