KR20170065503A - 3d 비디오 부호화/복호화 방법 및 장치 - Google Patents

3d 비디오 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20170065503A
KR20170065503A KR1020177006805A KR20177006805A KR20170065503A KR 20170065503 A KR20170065503 A KR 20170065503A KR 1020177006805 A KR1020177006805 A KR 1020177006805A KR 20177006805 A KR20177006805 A KR 20177006805A KR 20170065503 A KR20170065503 A KR 20170065503A
Authority
KR
South Korea
Prior art keywords
current block
candidate
reference sample
sdm
sample
Prior art date
Application number
KR1020177006805A
Other languages
English (en)
Inventor
유선미
서정동
남정학
예세훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170065503A publication Critical patent/KR20170065503A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 3D 비디오를 코딩하는 장치 및 방법에 관한 것으로, 본 발명에 따른 디코딩 방법은 현재 블록에 대하여 단일 뎁스 모드(single depth mode, SDM)가 적용되는지 여부를 지시하는 SDM 플래그 정보를 수신하는 단계, 상기 현재 블록에 SDM이 적용되는 경우, 상기 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 도출된 제1 후보 및 제2 후보를 기반으로 예측 샘플을 생성하는 단계를 포함하되, 상기 공간적 주변 참조 샘플들의 개수는 2개이고, 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치함을 특징으로 한다. 본 발명에 따르면, 소정의 주변 참조 샘플을 이용하여 도출된 하나의 대표 값을 기반으로 현재 블록을 예측할 수 있으며, 연산의 복잡도를 낮추고 코딩 효율을 높일 수 있다.

Description

3D 비디오 부호화/복호화 방법 및 장치
본 발명은 비디오 코딩에 관한 기술로서, 보다 상세하게는 3D 비디오 영상의 코딩에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 대한 정보량도 함께 증가한다.
따라서, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다. 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
한편, 고해상/대용량의 영상을 처리할 수 있게 됨에 따라서, 3D 비디오를 이용한 디지털 방송 서비스가 차세대 방송 서비스의 하나로 주목 받고 있다. 3D 비디오는 복수의 시점(view) 채널을 이용하여 현장감과 몰입감을 제공할 수 있다.
3D 비디오는 FCC(free viewpoint video), FTV(free viewpoint TV_), 3DTV, 사회 안전망(surveillance) 및 홈 엔터테인먼트와 같은 다양한 영역에 사용될 수 있다.
싱글 뷰 비디오(single view video)와 달리 멀티 뷰를 이용한 3DV(3D video)는 동일한 POC(picture order count)의 뷰들 사이에 높은 상관도(correlation)을 가진다. 멀티 뷰 영상은 인접한 여러 카메라 즉, 여러 시점(view)을 이용하여 똑같은 장면을 동시에 촬영하기 때문에, 시차와 약간의 조명 차이를 제외하면 거의 같은 정보를 담고 있으므로 서로 다른 뷰 간의 상관도가 높다.
따라서, 멀티 뷰 비디오의 인코딩/디코딩에서는 서로 다른 뷰 사이의 상관도를 고려하여, 현재 뷰의 인코딩 및/또는 디코딩에 필요한 정보를 획득할 수 있다. 예를 들어, 현재 뷰의 디코딩 대상 블록을 다른 뷰의 블록을 참조하여 예측하거나 디코딩할 수 있다.
본 발명은 3D 비디오 코딩에서 현재 블록을 예측하는 방법 및 장치를 제공한다.
본 발명은 3D 비디오 코딩에서 뎁스 블록 예측 방법 및 장치를 제공한다.
본 발명은 3D 비디오 코딩에서 단일 모드(single mode)에 기반한 인트라 예측 방법 및 장치를 제공한다.
본 발명은 현재 블록의 주변 샘플을 이용하여 도출된(derived) 하나의 대표 값을 기반으로 현재 블록을 예측하는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따르면, 3D 비디오 디코딩 방법이 제공된다. 상기 디코딩 방법은 현재 블록에 대하여 단일 뎁스 모드(single depth mode, SDM)가 적용되는지 여부를 지시하는 SDM 플래그 정보를 수신하는 단계, 상기 현재 블록에 SDM이 적용되는 경우, 상기 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 도출(derived)된 제1 후보 및 제2 후보를 기반으로 예측 샘플을 생성하는 단계를 포함하되, 상기 공간적 주변 참조 샘플들의 개수는 2개이고, 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치함을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 3D 비디오 디코딩 장치가 제공된다. 상기 디코딩 장치는 현재 블록에 대하여 단일 뎁스 모드(single depth mode, SDM)가 적용되는지 여부를 지시하는 SDM 플래그 정보를 수신하는 디코딩부, 상기 현재 블록에 SDM이 적용되는 경우, 상기 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 도출된 제1 후보 및 제2 후보를 기반으로 예측 샘플을 생성하는 예측부를 포함하되, 상기 공간적 주변 참조 샘플들의 개수는 2개이고, 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치함을 특징으로 한다.
본 발명에 따르면 3D 비디오 코딩에서 현재 픽처 내의 현재 블록을 예측함으로써 코딩 효율을 높이고, 전송되어야 하는 데이터량을 줄일 수 있다.
본 발명에 따르면 3D 비디오 코딩에서 소정의 주변 참조 샘플을 이용하여 도출(derived)된 하나의 대표 값을 기반으로 현재 블록을 예측할 수 있으며, 연산의 복잡도를 낮추고 코딩 효율을 높일 수 있다.
도 1은 본 발명이 적용될 수 있는 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 2는 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 4는 단일 뎁스 모드(SDM)에서 뎁스 맵 내 현재 블록의 인트라 예측 방법을 개략적으로 설명하기 위한 도면이다.
도 5는 DLT를 이용한 대체 후보 값 생성 방법을 개략적으로 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 SDM에 기반한 인트라 예측을 적용한 인코딩 방법을 개략적으로 나타낸 순서도이다.
도 7은 본 발명의 실시예에 따른 SDM에 기반한 인트라 예측을 적용한 디코딩 방법을 개략적으로 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 특정한 픽셀의 값을 나타내는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀 값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낸다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
도 1은 본 발명이 적용될 수 있는 3D 비디오의 인코딩 및 디코딩 과정을 개략적으로 설명하는 도면이다.
도 1을 참조하면, 3D 비디오 인코더는 비디오 픽처 및 뎁스 맵(depth map)과 카메라 파라미터(camera parameter)를 인코딩하여 비트스트림으로 출력할 수 있다.
뎁스 맵은 대응하는 비디오 픽처(텍스처 픽처)의 픽셀에 대하여 카메라와 피사체 간의 거리 정보(깊이 정보)로 구성될 수 있다. 예컨대, 뎁스 맵은 깊이 정보를 비트 뎁스(bit depth)에 따라 정규화한 영상일 수 있다. 이 때, 뎁스 맵은 색차 표현없이 기록된 깊이 정보로 구성될 수 있다. 뎁스 맵은 뎁스 맵 픽처 또는 뎁스 픽처로 불릴 수 있다.
일반적으로 피사체와의 거리와 디스패리티는 서로 반비례하므로, 카메라 파라미터를 이용하여 뎁스 맵의 깊이 정보로부터 뷰 간의 상관도를 나타내는 디스패리티 정보를 유도할 수 있다.
일반적인 컬러 영상 즉, 비디오 픽처(텍스처 픽처)와 함께 뎁스 맵과 카메라 파라미터를 포함하는 비트스트림은 네트워크(network) 또는 저장매체를 통해 디코더로 전송될 수 있다.
디코더 측에서는 비트스트림을 수신해서 비디오를 복원할 수 있다. 디코더 측에서 3D 비디오 디코더가 이용되는 경우, 3D 비디오 디코더는 비트스트림으로부터 비디오 픽처와 뎁스 맵 및 카메라 파라미터를 디코딩할 수 있다. 디코딩된 비디오 픽처와 뎁스 맵 그리고 카메라 파라미터를 기반으로 멀티 뷰(multi view) 디스플레이에 필요한 뷰들을 합성할(synthesize) 수도 있다. 이 때, 사용되는 디스플레이가 스테레오(stereo) 디스플레이인 경우라면, 복원된 멀티 뷰들 중에서 두 개의 뷰에 대한 픽처들을 이용하여 3D 영상을 디스플레이 할 수 있다.
스테레오 비디오 디코더가 사용되는 경우에, 스테레오 비디오 디코더는 비트스트림으로부터 양 안(eyes)에 각각 입사될 두 픽처를 복원할 수 있다. 스테레오 디스플레이에서는 왼쪽 눈에 입사되는 좌측 영상과 우측 눈에 입사되는 우측 영상의 시차(view difference) 혹은 디스패리티(disparity)를 이용해서 입체 영상을 디스플레이 할 수 있다. 스테레오 비디오 디코더와 함께 멀티 뷰 디스플레이가 사용되는 경우에는, 복원된 두 픽처를 기반으로 다른 뷰들을 생성하여 멀티 뷰를 디스플레이할 수도 있다.
2D 디코더가 사용되는 경우에는 2차원 영상을 복원해서 2D 디스플레이로 영상을 출력할 수 있다. 2D 디스플레이를 사용하지만, 디코더는 3D 비디오 디코더를 사용하거나 스테레오 비디오 디코더를 사용하는 경우에는 복원된 영상들 중 하나를 2D 디스플레이로 출력할 수도 있다.
도 1의 구성에서, 뷰 합성은 디코더 측에서 수행될 수도 있고, 디스플레이 측에서 수행될 수도 있다. 또한, 디코더와 디스플레이는 하나의 장치일 수도 있고 별도의 장치일 수 도 있다.
도 1에서는 설명의 편의를 위하여 3D 비디오 디코더와 스테레오 비디오 디코더 그리고 2D 비디오 디코더가 별도의 디코더인 것으로 설명하였으나, 하나의 디코딩 장치가 3D 비디오 디코딩, 스테레오 비디오 디코딩 그리고 2D 비디오 디코딩을 모두 수행할 수도 있다. 또한, 3D 비디오 디코딩 장치가 3D 비디오 디코딩을 수행하고, 스테레오 비디오 디코딩 장치가 스테레오 비디오 디코딩을 수행하며, 2D 비디오 디코딩 장치가 2D 비디오 디코딩을 수행할 수도 있다. 더 나아가, 멀티 뷰 디스플레이가 2D 비디오를 출력하거나 스테레오 비디오를 출력할 수도 있다.
도 2는 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2를 참조하면, 비디오 인코딩 장치(200)는 픽처 분할부(205), 예측부(210), 감산부(215), 변환부(220), 양자화부(225), 재정렬부(230), 엔트로피 인코딩부(235), 역양자화부(240), 역변환부(245), 가산부(250), 필터부(255) 및 메모리(260)을 포함한다.
픽처 분할부(205)는 입력된 픽처를 적어도 하나의 처리 유닛 블록(processing unit block)으로 분할할 수 있다. 이 때, 처리 유닛 블록은 코딩 유닛 블록(coding unit block), 예측 유닛 블록(prediction unit block) 또는 변환 유닛 블록(transform unit block)일 수 있다. 코딩 유닛 블록은 코딩의 유닛 블록으로서 최대(largest) 코딩 유닛 블록으로부터 쿼드 트리 구조(quad-tree structure)를 따라서 분할(split)될 수 있다. 예측 유닛 블록은 코딩 유닛 블록으로부터 파티셔닝(partitioning)되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛 블록은 서브 블록(sub block)으로 나뉠 수도 있다. 변환 유닛 블록은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 따라서 유도하는 유닛 블록 또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 유닛 블록일 수 있다.
이하, 코딩 유닛 블록은 코딩 블록(coding block, CB) 또는 코딩 유닛(coding unit, CU), 예측 유닛 블록은 예측 블록(prediction block, PB) 또는 예측 유닛(prediction unit, PU), 변환 유닛 블록은 변환 블록(transform block, TB) 또는 변환 유닛(transform unit, TU)라고 불릴 수 있다.
예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 예측 샘플의 어레이(array)를 포함할 수 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 포함할 수 있다.
예측부(210)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(210)에서 수행되는 예측의 단위는 코딩 블록일 수 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(210)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다. 일 예로, 예측부(210)는 CU 단위로 인트라 예측 또는 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(210)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 현재 블록 외부의 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 예측부(210)는 (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드, (ii)의 경우는 방향성(directional) 모드라고 불릴 수 있다. 예측부(210)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(210)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플을 기반으로, 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(210)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP(motion vector prediction) 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(210)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)이 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처(reference picture)에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함한다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 움직임 정보(motion information)는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트(reference picture list) 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다.
멀티 뷰의 경우, 독립 뷰(independent view)와 종속 뷰(dependent view)로 구분될 수 있으며, 종속 뷰에 대한 인코딩의 경우에, 예측부(210)는 인터 예측뿐 아니라 인터 뷰(inter-view) 예측을 수행할 수도 있다.
예측부(210)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다. 인터 뷰 예측을 위해, 예측부(210)는 디스패리티 벡터를 유도할 수 있다. 현재 뷰 내 다른 픽처에서 현재 블록에 대응하는 블록을 특정하는 움직임 벡터와 달리, 디스패리티 벡터는 현재 픽처와 동일한 AU(access unit)의 다른 뷰에서 현재 블록에 대응하는 블록을 톡정할 수 있다. AU는 예를 들어 멀티 뷰에서, 동일 시점(same time instance)에 대응하는(correspond) 비디오 픽처들 및 뎁스 맵들을 포함할 수 있다. 여기서, AU는 POC(Picture Order Count)가 같은 픽처들의 집합을 의미할 수 있다. POC는 픽처의 디스플레이 순서에 대응하며, 코딩 순서와 구분될 수 있다.
예측부(210)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록(depth block)을 특정할 수 있고, 머지 리스트의 구성, 인터 뷰 움직임 예측(inter-view motion prediction), 레지듀얼 예측, IC(illumination compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다.
예컨대, 예측부(210)는 참조 뷰(reference view)의 시간적 움직임 정보에 대응하는 인터 뷰 머지 후보(inter-view merging candidate: IvMC), 디스패리티 벡터 대응하는 인터 뷰 디스패리티 벡터 후보(inter-view disparity vector candidate: IvDC), 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 인터뷰 머지 후보(shifted IvMC), 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처 픽처로부터 유도되는 텍스처 머지 후보(texture merging candidate: T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(disparity derived merging candidate: D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 머지 후보(view synthesis prediction candidate: VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이 때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(210)는 인터 뷰 움직임 벡터 예측을 적용하여, 디스패리티 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이 때, 예측부(210)는 대응하는 깊이 블록 내 최대 깊이 값의 전환(conversion)에 기반하여 디스패리티 벡터를 유도할 수 있다. 참조 뷰 내의 현재 블록의 샘플 위치에 디스패리티 벡터를 더하여 참조 뷰 내 참조 샘플의 위치가 특정되면, 참조 샘플을 포함하는 블록을 참조 블록으로 이용할 수 있다. 예측부(210)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움직임 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 디스패리티 보상 예측(disparity compensated prediction: DCP)을 위한 후보 디스패리티 벡터로 이용할 수 있다.
감산부(215)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(220)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 양자화부(225)는 변환 계수들을 양자화하여, 양자화된 변환 계수를 생성할 수 있다.
재정렬부(230)는 양자화된 변환 계수를 재정렬한다. 재정렬부(230)는 계수들 스캐닝(scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(235)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩은 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 인코딩 방법을 포함할 수 있다. 엔트로피 인코딩부(235)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대 신택스 요소(syntax element)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 엔트로피 인코딩된 정보들은 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다.
가산부(250)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록이 생성될 수 있다. 여기서 가산부(250)는 별도의 구성으로 설명하였으나, 가산부(250)는 예측부(210)의 일부일 수 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(255)는 디블록킹 필터 및/또는 샘플 적응적 오프셋(sample adaptive offset)을 적용할 수 있다. 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다.
메모리(260)는 복원 픽처 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(260)는 인터 예측/인터 뷰 예측에 사용되는 (참조) 픽처들을 저장할 수 있다. 이 때, 인터 예측/인터 뷰 예측에 사용되는 픽처들은 참조 픽처 세트(reference picture set) 혹은 참조 픽처 리스트(reference picture list)에 의해 지정될 수 있다.
여기서는, 하나의 인코딩 장치가 독립 뷰 및 종속 뷰를 인코딩하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 각 뷰별로 별도의 인코딩 장치가 구성되거나, 각 뷰별로 별도의 내부 모듈(예컨대, 각 뷰별 예측 모듈)이 구성될 수도 있다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3을 참조하면, 비디오 디코딩 장치(300)는 엔트로피 디코딩부(310), 재정렬부(320), 역양자화부(330), 역변환부(340), 예측부(350), 가산부(360), 필터부(370), 메모리(380)를 포함한다.
비디오 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치는(300)는 비디오 인코딩 장치에서 비디오 정보가 처리된 프로세스에 대응하여 비디오를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 적용된 처리 유닛을 이용하여 비디오 디코딩을 수행할 수 있다. 따라서 비디오 디코딩의 처리 유닛 블록은 코딩 유닛 블록, 예측 유닛 블록 또는 변환 유닛 블록일 수 있다. 코딩 유닛 블록은 디코딩의 유닛 블록으로서 최대 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할될 수 있다. 예측 유닛 블록은 코딩 유닛 블록으로부터 파티셔닝되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛 블록은 서브 블록으로 나뉠 수도 있다. 변환 유닛 블록은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 블록 또는 변환 계수로부터 레지듀얼 신호를 유도하는 유닛 블록일 수 있다.
엔트로피 디코딩부(310)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다.
3D 비디오를 재생하기 위해 복수의 뷰(view)를 처리하는 경우, 비트스트림은 각 뷰 별로 입력될 수 있다. 혹은, 비트스트림 내에서 각 뷰에 대한 정보가 멀티플렉싱되어 있을 수 있다. 이 경우, 엔트로피 디코딩부(310)는 비트스트림을 역다중화(de-multiplixing)하여 뷰 별로 파싱(parsing)할 수도 있다.
재정렬부(320)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(320)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다.
역양자화부(330)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이 때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(340)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(350)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(350)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(350)는 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이 때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플을 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 안트라 예측에 있어서 예측 샘플을 생성하는 단위 또한 상이할 수 있다. 예를 들어, 인터 예측과 인트라 예측 중 어느 것을 적용할 것인지는 CU 단위로 결정할 수 있다. 또한 예를 들어, 인터 예측에 있어서 PU 단위로 예측 모드를 결정하고 예측 샘플을 생성할 수 있고, 인트라 예측에 있어서 PU 단위로 예측 모드를 결정하고 TU 단위로 예측 샘플을 생성할 수도 있다.
인트라 예측의 경우에, 예측부(350)는 현재 픽처 내의 주변 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 현재 블록의 주변 참조 샘플을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(350)는 참조 픽처 상에서 움직임 벡터에 의해 참조 픽처 상에서 특정되는 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(350)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다.
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(350)는 가용한 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)이 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
종속 뷰(dependent view)에 대한 경우에, 예측부(350)는 인터 뷰 예측을 수행할 수 있다. 이 때, 예측부(350)는 다른 뷰의 픽처를 포함하여 참조 픽처 리스트를 구성할 수 있다.
인터 뷰 예측을 위해, 예측부(350)는 디스패리티 벡터를 유도할 수 있다. 예측부(350)는 디스패리티 벡터를 기반으로, 뎁스 뷰(depth view) 내의 뎁스 블록을 특정할 수도 있고, 머지 리스트의 구성, 인터 뷰 움직임 예측(inter-view motion prediction), 레지듀얼 예측, IC(illumination compensation), 뷰 합성 등을 수행할 수 있다.
현재 블록에 대한 디스패리티 벡터는 카메라 파라미터를 이용하여 뎁스 값으로부터 유도되거나, 현재 또는 다른 뷰 내 주변 블록의 움직임 벡터 또는 디스패리티 벡터로부터 유도될 수 있다. 카메라 파라미터는 인코딩 장치로부터 시그널링될 수 있다.
종속 뷰의 현재 블록에 머지 모드를 적용하는 경우에, 예측부(350)는 c마조 뷰(refernece view)의 시간적 움직임 정보에 대응하는 IvMC, 디스패리티 벡터에 대응하는 IvDC, 디스패리티 벡터의 쉬프트(shift)에 의해 유도되는 쉬프티드 IvMC, 현재 블록이 뎁스 맵 상의 블록인 경우에 대응하는 텍스처 픽처로부터 유도되는 텍스처 머지 후보(T), 텍스처 머지 후보로부터 디스패리티를 이용하여 유도되는 디스패리티 유도 머지 후보(D), 뷰 합성에 기반해서 유도되는 뷰 합성 예측 머지 후보(VSP) 등을 머지 후보 리스트에 추가할 수 있다.
이 때, 종속 뷰에 적용되는 머지 후보 리스트에 포함되는 후보의 개수는 소정의 값으로 제한될 수 있다.
또한, 예측부(350)는 인터 뷰 움직임 벡터 예측을 적용하여, 디스패리티 벡터를 기반으로 현재 블록의 움직임 벡터를 예측할 수도 있다. 이 때, 예측부(350)는 디스패리티 벡터에 의해서 특정되는 참조 뷰 내 블록을 참조 블록으로 이용할 수 있다. 예측부(350)는 참조 블록의 움직임 벡터를 현재 블록의 후보 움직임 파라미터 혹은 움짐익 벡터 예측자 후보로 이용할 수 있으며, 상기 디스패리티 벡터를 디스패리티 보상 예측(disparity compensated prediction: DCP)을 위한 후보 디스패리티 벡터로 이용할 수 있다.
가산부(360)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(360)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(360)를 별도의 구성으로 설명하였으나, 가산부(360)는 예측부(350)의 일부일 수도 있다.
필터부(370)는 복원된 픽처에 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 적용할 수 있다. 이 때, 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링 이후 적용될 수도 있다.
메모리(380)는 복원 픽처 또는 디코딩에 필요한 정보를 저장할 수 있다. 예컨대, 메모리(380)는 인터 예측/인터 뷰 예측에 사용되는 픽처들을 저장할 수 있다. 이 때, 인터 예측/인터 뷰 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 다른 픽처에 대한 참조 픽처로서 이용될 수 있다.
또한, 메모리(380)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다. 도시되지는 않았으나, 3D 영상을 재생하기 위해, 출력부는 복수의 서로 다른 뷰를 디스플레이할 수 있다.
도 3의 예에서는, 하나의 디코딩 장치에서 독립 뷰(independent view)와 종속 뷰(dependent view)가 디코딩되는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서 본 발명은 이에 한정되지 않는다. 예컨대, 뷰 별로 각각의 디코딩 장치가 동작할 수도 있고, 하나의 디코딩 장치 내의 각 뷰에 대응하는 내부 모듈(예컨대, 예측 모듈)이 구비될 수도 있다.
멀티 뷰 비디오 코딩은 현재 픽처와 동일한 AU(access unit)에 속하는 다른 뷰의 디코딩 데이터를 이용하여 현재 픽처를 코딩함으로써 현재 뷰에 대한 비디오 코딩 효율을 높일 수 있다.
멀티 뷰 비디오 코딩에서는 AU 단위로 뷰들을 코딩할 수 있고, 뷰 단위로 픽처들을 코딩할 수도 있다. 뷰들 간에는 정해진 순서에 따라서 코딩이 진행된다. 다른 뷰의 참조 없이 코딩될 수 있는 뷰를 베이스 뷰(base view) 또는 독립 뷰라고 할 수 있다. 또한 독립 뷰가 코딩된 뒤에 독립 뷰 또는 다른 뷰를 참조해서 코딩될 수 있는 뷰를 종속 뷰 또는 확장 뷰라고 할 수 있다. 또한, 현재 뷰가 종속 뷰인 경우, 현재 뷰의 코딩에 참조되는 뷰를 참조 뷰라고 할 수도 있다. 여기서 뷰를 코딩한다 함은 해당 뷰에 속하는 비디오 픽처, 뎁스 맵 등을 코딩함을 포함한다.
3D 비디오는 일반적인 컬러 영상 정보를 가지는 텍스처(texture) 픽처와, 텍스처 픽처에 대한 깊이 정보를 가지는 뎁스 맵(depth map)을 포함한다.
뎁스 맵은 같은 시점(같은 시간)의 텍스처 픽처의 코딩 정보를 참조하여 코딩될 수 있다. 다시 말해서, 뎁스 맵은 뎁스 픽처와 동일한 POC를 가지는 텍스처 픽처의 코딩 정보를 참조하여 코딩될 수 있다.
뎁스 맵은 동일 시간의 텍스처 픽처와 동시에 촬영되어 취득되거나, 동일 시간의 텍스처 픽처에 대한 깊이 정보를 계산하여 생성되기 때문에, 동일 시간의 뎁스 맵과 텍스처 픽처는 상관도가 매우 높다.
따라서, 뎁스 맵의 코딩 시 이미 코딩된 텍스처 픽처의 정보, 예컨대 텍스처 픽처의 블록 분할 정보 또는 움직임 정보 등을 이용할 수 있다. 하나의 예로, 텍스처 맵의 움직임 정보를 뎁스 픽처에서 동일하게 사용할 수 있으며, 이를 움직임 파라미터 승계(motion parameter inheritance, MPI)라고 한다. 특히, 움직임 벡터를 텍스처 픽처로부터 승계하는 방법을 움직임 벡터 승계(motion vector inheritance, MVI)라고 한다. MVI에서는 대응되는 텍스처 블록의 움직임 벡터를 유도하여 뎁스 맵의 현재 블록의 움직임 예측 백터로 사용할 수 있다.
한편, 대응되는 텍스처 블록의 움직임 벡터를 유도하여 뎁스 맵의 현재 블록의 움직임 예측 백터로 사용할 뿐 아니라, 현재 블록을 특정 뎁스 값으로 채워넣을 때 대응하는 텍스처 블록의 디스패리티 정보를 이용할 수 있으며, 이를 디스패리티 도출 뎁스(disparity derived depth, DDD)라고 한다. 디코더는 카메라 파라미터 정보를 알 수 잇기 때문에, 상기 디스패리티 정보를 기반으로 0 내지 (1<<비트심도(bitDepth))-1 의 정규화된 뎁스 값으로 변환할 수 있다. DDD가 적용되는 경우, 대응되는 블록(또는 위치)의 인터 예측을 위하여 디스패리티가 사용되었는지 확인하고, 만일 디스패리티가 사용된 경우, 디코딩 프로세스에서 결정된 디스패리티-뎁스(disparity to depth) 테이블을 이용하여 상기 디스패리티를 뎁스 값으로 변환한 후, 현재 블록을 상기 변환된 뎁스 값으로 채울 수 있다.
하지만, DDD의 경우 텍스처(또는 컬러)와 뎁스 간의 성분간 데이트 전송(inter-component data transmission)을 요구하기 때문에 텍스처 픽처와 뎁스 맵 간 데이터 정보 교환이 발생하며, 이에 대한 메모리 대역폭이 소모된다. 하지만 DDD로 얻어지는 부호화 효율이 크지 않기 때문에, DDD를 수행하는 것은 비효율적이다. 또한 DDD는 텍스처 블록으로부터 얻어온 디스패리티를 이용하여 변환된 뎁스 값으로 현재 블록을 채우며, 이를 위하여 디스패리티-뎁스 테이블이 구성되어야 한다. 하지만 디스패리티-뎁스 테이블을 사용하는 코딩 툴은 현재로서 DDD가 유일하며, DDD만을 위하여 디스패리티-뎁스 테이블을 디코딩 프로세스 동안 유지하고 업데이트 하여야 하는 부담이 존재한다. 따라서, 본 발명에서는 DDD를 디코딩 프로세스에서 수행하지 않는다.
한편, 뎁스 맵은 픽처의 각 픽셀이 가지는 거리를 그레이 스케일(gray scale)로 저장하고 있으며, 하나의 블록 내에서는 각 픽셀 간의 세밀한 깊이 차이가 심하지 않고 전경(foreground)과 배경(background)의 두 가지로 나누어 표현될 수 있는 경우가 많다. 또한 뎁스 맵은 물체의 경계에서는 날카로운 엣지(sharp edge)를 가지며, 경계가 아닌 위치에서는 거의 일정한 값(ex. 상수 값)을 갖는 특성을 보인다.
따라서, 기존의 텍스처 픽처를 예측하는데 사용하는 인트라 예측 방법은 일정한 값을 가지는 영역(constant region)에 적합한 예측 방법이기 때문에, 텍스처 픽처와 다른 특성을 가지는 뎁스 맵 예측에는 효과적이지 않다.
따라서, 뎁스 맵 코딩에 있어서, 상기 뎁스 맵의 특성을 반영하는 새로운 인트라 예측 모드가 사용될 수 있다. 예를 들어, 뎁스 맵을 위한 인트라 예측 모드에서는 뎁스 맵의 현재 블록(혹은 뎁스 블록)을 두 개의, 사각형이 아닌(non-rectangular) 모델(model)로 표현하고, 각 영역은 상수 값으로 나타낼 수 있다. 이러한 모델을 나타내기 위하여는 해당 블록이 어떻게 파티셔닝되는지 나타내는 정보와 각 파티션이 어떤 값으로 채워지는지 나타내는 정보가 필요하다. 파티셔닝 방법으로는, Wedgelet과 Contour 방식이 있으며, Wedgelet 방식은 현재 블록을 직선 형태를 기반으로 두 영역(파티션)으로 분리하는 방식이고, Contour 방식은 임의의 곡선 형태를 기반으로 현재 블록을 두 영역(파티션)으로 분리하는 방법이다.
한편, 뎁스 맵은 경계가 아닌 위치에서는 거의 일정한 값을 갖는 특성을 보이므로, 뎁스 맵은 단조롭고 주변 블록과 유사할 가능성이 높다. 이러한 특성을 이용하여 현재 블록의 주변의 디코딩된 참조 샘플들을 후보로 하여, 그 중 한 개의 샘플을 현재 블록의 대표 샘플 값으로 사용할 수 있다. 이는 단일 모드(single mode, SM) 또는 단일 뎁스 모드(single depth mode, SDM)이라고 불릴 수 있다. SDM(or SM)은 뎁스 맵에 대하여 적용될 수도 있으며, 호환성 등을 고려하여 단조로운 컬러를 가진 텍스처 픽처 등에 대하여도 적용될 수 있다. SDM에서는 현재 블록에 SDM이 적용되는지 여부에 관한 SDM 플래그 정보와, SDM을 위한 후보 리스트 내의 어느 참조 샘플이 지시(또는 선택)되는지 지시하는 SDM 인덱스 정보를 기반으로 현재 블록을 (인트라) 예측할 수 있다. 즉, 상기 SDM 인덱스가 지시하는 참조 샘플의 값을 기반으로 현재 블록의 예측 샘플들을 생성할 수 있다.
도 4는 단일 뎁스 모드(SDM)에서 뎁스 맵 내 현재 블록의 인트라 예측 방법을 개략적으로 설명하기 위한 도면이다.
도 4를 참조하면, 뎁스 맵 내 인트라 예측 대상이 되는 현재 블록(400)이 SDM으로 인트라 예측되는 경우, 현재 블록(400)은 하나의 뎁스 값으로 채워질 수 있다.
이 때, 디코딩 장치는 현재 블록(400)을 채우기 위한 뎁스 값을 직접 수신하는 것이 아니라, 현재 블록(400)에 인접하고 있는 주변 샘플들을 기반으로 후보 리스트를 구성하고, 상기 구성된 후보 리스트 중 특정 후보를 지시하는 SDM 인덱스 정보를 수신하여 현재 블록(400)을 채우기 위한 뎁스 값을 도출(derive)할 수 있다. 상기 주변 샘플들은 이미 복원된 샘플들일 수 있다.
따라서, 현재 블록(400)의 주변 샘플들 중 어느 샘플들이 상기 후보 리스트를 구성하기 위하여 사용되는지는 현재 블록(400)의 예측을 위하여 매우 중요하다.
본 발명의 일 예에 따르면, 상기 후보 리스트 구성을 위하여 주변 참조 샘플들로 An/2(410), Bn/2(420), A0(430), B0(440), B-1(450)이 사용될 수 있다. 여기서 An/2(410) 및 A0(430)은 현재 블록(400)의 좌측(left side)에 위치하고, Bn/2(420) 및 B0(440)은 현재 블록(400)의 상측(upper side)에 위치하며, B-1(450)은 현재 블록(400)의 좌상측(upper left side)에 위치한다. 현재 블록은 8×8, 16×16, 32×32 등 가로(x축) 세로(y축) 각각 짝수개의 샘플로 구성될 수 있다. 이 경우 An/2(410)은 현재 블록(400)의 좌측 경계에 인접하는 샘플들 중에서 y축 방향으로 가운데에 위치하는 2개의 샘플들 중에서 아래쪽에 위치한 샘플일 수 있고, A0(430)는 현재 블록(400)의 좌측 경계에 인접하는 샘플들 중에서 가장 위쪽에 위치한 샘플일 수 있다. Bn/2(420)은 현재 블록(400)의 상측 경계에 인접하는 샘플들 중에서 x축 방향으로 가운데에 위치하는 2개의 샘플들 중에서 오른쪽에 위치한 샘플일 수 있고, B0(440)는 현재 블록(410)의 상측 경계에 인접하는 샘플들 중에서 가장 왼쪽에 위치한 샘플을 수 있다. 상기 현재 블록의 사이즈가 n×n이라고 가정하고, 상기 현재 블록의 좌상단(top-left) 샘플의 위치를 (0,0)이라 할 경우, An/2(410)의 위치는 (-1, n/2)이고, Bn/2(420)의 위치는 (n/2, -1)라고 할 수 있다. 상기 현재 블록의 사이즈가 n×n이라고 가정하고, 상기 현재 블록의 좌상단 샘플의 위치를 (x,y)라고 할 경우, 상기 An/2(410)의 위치는 (x-1, y+n/2)일 수 있고 상기 Bn/2(420)의 위치는 (x+n/2, y-1)일 수도 있다.
여기서, 상기 후보 리스트의 사이즈는 2로 고정될 수 있다. 즉, 상기 주변 참조 샘플들을 기반으로 최대 2개의 후보들이 도출될 수 있다. 주변 참조 샘플들인 An/2(410), Bn/2(420), A0(430), B0(440), B-1(450)들 중에서 가용하지 않거나 뎁스 값이 서로 같은 샘플들이 존재할 수 있으며, 이 경우 미리 정해진 탐색 순서를 기반으로 (뎁스 값이 서로 다르면서 가용한) 2개의 주변 참조 샘플들이 후보 리스트에 삽입(또는 할당)될 수 있다. 예를 들어, 현재 블록이 뎁스 맵의 경계에 인접하거나 독립적인 슬라이스의 경계에 인접한 경우, 탐색하는 위치의 주변 참조 샘플이 존재하지 않거나 슬라이스를 넘어서 위치할 수도 있으며, 이 경우 해당 주변 참조 샘플은 가용하지 않은 것으로 간주될 수 있다. 상기 탐색 순서는 An/2(410), Bn/2(420), A0(430), B0(440), B-1(450) 순서일 수 있다.
한편, 상기 후보 리스트 구성을 위하여 많은 주변 참조 샘플들을 사용하는 경우 보다 정확한 예측 가능성이 높아져서 코딩 효율을 향상시키는 요인이 있으나, 오히려 계산 복잡도를 증가시키거나 불필요한 리던던시(redundancy)를 유발하여 코딩 효율을 저하시키는 요인이 될 수도 있다.
따라서, 본 발명의 다른 예에서는 최적의 효율을 고려하여, 상기 주변 참조 샘플들로 An/2(410), Bn/2(420)만이 사용될 수도 있다. 이 경우 상기 후보 리스트는 주변 참조 샘플들로 An/2(410), Bn/2(420)만을 이용하여 도출될 수 있다. 여기서 상기 후보 리스트의 사이즈가 2로 고정되는 경우, An/2(410), Bn/2(420)을 이용하여 제1 후보 및 제2 후보를 포함하는 상기 후보 리스트가 생성될 수 있다. 여기서 제1 후보는 0번 인덱스 후보일 수 있고, 제2 후보는 1번 인덱스 후보일 수 있다. 여기서 상기 인덱스는 상술한 SDM 인덱스 정보에 의하여 지시될 수 있다.
상기 주변 참조 샘플들인 An/2(410), Bn/2(420) 중에서 가용하지 않거나 뎁스 값이 서로 같은 샘플들이 존재할 수 있으며, 이 경우 미리 정해진 탐색 순서를 기반으로 (뎁스 값이 서로 다르면서 가용한) 1개의 주변 참조 샘플이 도출된 경우, 상기 1개의 주변 참조 샘플이 제1 후보로 할당되고, 제2 후보는 상기 제1 후보의 뎁스 값에 1을 더한 값이 사용될 수 있다. 즉, 최종 후보의 수가 모자라서 대체 값이 필요한 경우 제1 후보의 뎁스 값에 1을 더한 값이 제2 후보의 뎁스 값으로 사용될 수 있다. 상기 탐색 순서는 An/2(410), Bn/2(420) 순서일 수 있다.
예를 들어, 상기 An/2(410), Bn/2(420) 중에서 Bn/2(420)가 가용하지 않은 경우, An/2(410)이 제1 후보로 할당되고, 제2 후보는 An/2(410)의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 도출될 수 있다. 다른 예로, 상기 An/2(410), Bn/2(420) 중에서 An/2(410)가 가용하지 않은 경우, Bn/2(420)이 제1 후보로 할당되고, 제2 후보는 Bn/2(420)의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 도출될 수 있다. 또 다른 예로, An/2(410)이 Bn/2(420)과 같은 뎁스 값을 갖는 경우, 탐색 순서가 앞서는 An/2(410)이 제1 후보로 할당되고, 제2 후보는 An/2(410)의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 도출될 수 있다.
또한 본 발명에 따르면 미리 정의된 주변 참조 샘플이 모두 가용하지 않은 경우, 소정의 디폴트 값이 상기 제1 후보로 할당될 수 있고, 제1 후보의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 제2 후보가 도출될 수 있다. 이 경우 상기 디폴트 값은 미리 정의된 비트심도(bitDepth) 값을 기반으로 결정될 수 있다. 구체적으로 상기 디폴트 값은 1<<(비트심도-1)로 결정될 수 있다. 여기서 <<은 산술 오른쪽 쉬프트(arithmetic right shift)를 나타낸다. 예를 들어 비트심도 값이 256색상을 나타낼 수 있는 8인 경우, 뎁스 값 128이 제1 후보의 뎁스 값이 될 수 있고, 뎁스 값 129가 제2 후보의 뎁스 값이 될 수 있다.
한편, 후보의 수가 모자라서 대체 값이 필요한 경우, 단순히 제1 후보의 뎁스 값에 1을 더하는 것이 아니라, DLT(depth look-up table)을 기반으로, 제1 후보를 DLT에 매핑하고, 제1 후보가 매핑된 DLT 인덱스에 1을 더한 인덱스가 DLT 상에서 가리키는 뎁스 값을 대체값으로 사용할 수 있다.
도 5는 DLT를 이용한 대체 후보 값 생성 방법을 개략적으로 설명하기 위한 도면이다.
도 5를 참조하면, SDM[0]은 SDM을 위한 후보 리스트의 제1 후보, SDM[1]은 상기 후보 리스트의 제2 후보를 나타낸다. 미리 정의된 주변 참조 샘플들 중 일부가 가용하지 않거나 서로 같은 뎁스 값을 가지는 등의 이유로 인하여, 주변 참조 샘플들을 기반으로 SDM[0]만 할당되고, SDM[1]이 할당되지 못할 수 있다. 이 경우 상기 SDM[0]의 뎁스 값을 DLT에 매핑하고, SDM[0]의 뎁스 값에 대응하는 인덱스를 상기 DLT 상에서 구한 후, 상기 구한 인덱스에 1값을 더한 인덱스가 상기 DLT 상에서 나타내는 뎁스 값이 SDM[1]에 할당될 수 있다. 예를 들어 주변 참조 샘플들로부터 도출된 SDM[0]의 뎁스 값이 30인 경우, 상기 DLT 상에서 인덱스 18이 뎁스 값 30을 나타내고, 상기 인덱스 18에 1을 더한 인덱스 19가 나타내는 뎁스 값인 34이 SDM[1]에 할당될 수 있다.
만약, 미리 정의된 주변 참조 샘플이 모두 가용하지 않고, 비트심도(bitDepth) 값을 기반으로 SDM[0]의 뎁스 값이 128로 결정된 경우, 뎁스 값 128이 DLT에 매핑되는 인덱스보다 1 더 큰 인덱스가 DLT 상에서 가리키는 뎁스 값이 SDM[1]에 할당될 수도 있다.
도 6은 본 발명의 실시예에 따른 SDM에 기반한 인트라 예측을 적용한 인코딩 방법을 개략적으로 나타낸 순서도이다. 도 6의 방법은 상술한 도 2의 비디오 인코딩 장치에 의해 수행될 수 있다.
도 6을 참조하면, 인코딩 장치는 뎁스 맵 상의 현재 블록에 대한 SDM 적용 여부를 판단한다(S600). 인코딩 장치는 다양한 예측 방법의 적용에 따른 부호화 효율을 비교하고 정해진 기준에 따라 최적의 예측 방법을 판단할 수 있다. 인코딩 장치는 상기 뎁스 맵 상의 상기 현재 블록의 예측을 위하여 다양한 예측 모드들 중에서 SDM을 적용하는 것으로 판단할 수 있다. 상기 현재 블록은 CU일 수 있다. 상기 현재 블록은 PU 또는 TU일 수도 있다.
인코딩 장치는 현재 블록에 대하여 SDM을 적용하는 경우, 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 후보 리스트를 생성한다(S610). 상기 후보 리스트는 제1 후보 및 제2 후보를 포함할 수 있으며, 상기 후보 리스트의 사이즈는 2로 고정될 수 있다. 이 경우 상기 제1 후보는 0번 인덱스로 지시될 수 있고, 상기 제1 후보는 1번 인덱스로 지시될 수 있다.
상기 후보 리스트 생성에 이용되는 상기 공간적 주변 참조 샘플들의 개수는 2개일 수 있으며, 이 경우 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치할 수 있다. 이 경우, 상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접(adjacent)하고, 상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접할 수 있다. 또한, 상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접하는 복원(reconstructed) 샘플들 중에서 y축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나이고, 상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접하는 복원 샘플들 중에서 x축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나일 수 있다.
만약, 상기 현재 블록의 사이즈가 n×n이고 상기 현재 블록의 좌상단(top-left) 샘플의 위치를 (0,0)이라 할 경우, 상기 제1 주변 참조 샘플의 위치는 (-1, n/2) (또는 (-1, n>>1))일 수 있고 상기 제2 주변 참조 샘플의 위치는 (n/2, -1) (또는 (n>>1, -1))일 수 있다. 만약, 상기 현재 블록의 사이즈가 n×n이고, 상기 현재 블록의 좌상단 샘플의 위치를 (x,y)라고 할 경우, 상기 제1 주변 참조 샘플의 위치는 (x-1, y+n/2)일 수 있고 상기 제2 주변 참조 샘플의 위치는 (x+n/2, y-1)일 수도 있다.
인코딩 장치는 상기 후보 리스트에 기반하여 현재 블록의 예측 샘플을 생성한다(S620). 인코딩 장치는 상기 후보 리스트를 기반으로 현재 블록의 예측 샘플을 인트라 예측할 수 있으며, 예측 샘플을 기반으로 복원 샘플을 생성할 수 있다. 상기 현재 블록은 CU일 수 있으며, 일 예로 상기 CU가 SDM으로 예측된(또는 코딩된) 경우 해당 CU에 대한 원본 블록과 예측된 블록과의 차인 레지듀얼(residual)이 전송되지 않을 수 있다. 즉, 이 경우 예측된 블록이 복원 블록이 될 수 있다.
인코딩 장치는 SDM에 관한 정보를 코딩한다(S630). 인코딩 장치는 상기 SDM에 관한 정보를 엔트로피 인코딩하여 비트스트림으로 출력할 수 있다. 출력된 비트스트림은 네트워크를 통해 전송되거나 저장매체에 저장될 수 있다. 상기 SDM에 관한 정보는 상기 현재 블록에 대하여 SDM이 적용되는지 여부를 지시하는 SDM 플래그 정보 및 상기 후보 리스트 내의 특정 후보를 지시하는 SDM 인덱스 정보를 포함할 수 있다. 여기서 상기 SDM 플래그 정보는 CU 단위로 상기 SDM 적용 여부를 지시할 수 있다. 상기 비트스트림은 현재 블록을 복원하기 위한 신택스 엘리먼트의 값들을 포함할 수 있다.
도 7은 본 발명의 실시예에 따른 SDM에 기반한 인트라 예측을 적용한 디코딩 방법을 개략적으로 나타낸 순서도이다. 도 7의 방법은 상술한 도 3의 비디오 디코딩 장치에 의해 수행될 수 있다.
도 7을 참조하면, 디코딩 장치는 비트스트림에 포함된 SDM에 관한 정보를 디코딩한다(S700). 디코딩 장치는 상기 비트스트림을 엔트로피 디코딩하고 상기 SDM에 관한 정보를 획득할 수 있다 상기 SDM에 관한 정보는 상기 현재 블록에 대하여 SDM이 적용되는지 여부를 지시하는 SDM 플래그 정보 및 상기 후보 리스트 내의 특정 후보를 지시하는 SDM 인덱스 정보를 포함할 수 있다. 상기 비트스트림은 현재 블록을 복원하기 위한 신택스 엘리먼트의 값들을 포함할 수 있다.
디코딩 장치는 현재 블록에 대하여 SDM을 적용하는 경우, 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 후보 리스트를 생성한다(S710). 상기 후보 리스트는 제1 후보 및 제2 후보를 포함할 수 있으며, 상기 후보 리스트의 사이즈는 2로 고정될 수 있다. 이 경우 상기 제1 후보는 0번 인덱스로 지시될 수 있고, 상기 제1 후보는 1번 인덱스로 지시될 수 있다.
상기 후보 리스트 생성에 이용되는 상기 공간적 주변 참조 샘플들의 개수는 2개일 수 있으며, 이 경우 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치할 수 있다. 이 경우, 상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접(adjacent)하고, 상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접할 수 있다. 또한, 상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접하는 복원(reconstructed) 샘플들 중에서 y축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나이고, 상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접하는 복원 샘플들 중에서 x축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나일 수 있다.
만약, 상기 현재 블록의 사이즈가 n×n이고 상기 현재 블록의 좌상단(top-left) 샘플의 위치를 (0,0)이라 할 경우, 상기 제1 주변 참조 샘플의 위치는 (-1, n/2)일 수 있고 상기 제2 주변 참조 샘플의 위치는 (n/2, -1)일 수 있다. 만약, 상기 현재 블록의 사이즈가 n×n이고, 상기 현재 블록의 좌상단 샘플의 위치를 (x,y)라고 할 경우, 상기 제1 주변 참조 샘플의 위치는 (x-1, y+n/2)일 수 있고 상기 제2 주변 참조 샘플의 위치는 (x+n/2, y-1)일 수도 있다.
디코딩 장치는 상기 후보 리스트에 기반하여 현재 블록의 예측 샘플을 생성한다(S720). 인코딩 장치는 상기 후보 리스트를 기반으로 현재 블록의 예측 샘플을 인트라 예측할 수 있으며, 예측 샘플을 기반으로 복원 샘플을 생성할 수 있다. 상기 현재 블록은 CU일 수 있으며, 또는 상기 현재 블록은 PU 또는 TU일 수도 있다. 일 예로 상기 CU가 SDM으로 예측된(또는 코딩된) 경우 해당 CU에 대한 원본 블록과 예측된 블록과의 차인 레지듀얼(residual)이 시그널링되지 않을 수 있다. 즉, 이 경우 예측된 블록이 복원 블록이 될 수 있다.
또한, 상술한 바와 같이, PU 및 TU는 CU로부터 분할(또는 파티셔닝) 수 있다. 이 경우 예를 들어, 상기 현재 블록은 CU일 수 있으며, 상기 SDM 플래그 정보는 CU 단위로 주어질 수 있다. 이 경우 디코딩 장치는 상기 CU 내의 PU에 대하여 상기 SDM 적용 여부를 판단할 수 있고, 상기 CU 내의 TU에서 상기 SDM에 기반한 인트라 예측을 수행함으로써 최종적으로 상기 CU에 대한 예측 샘플을 생성할 수 있다.
또한, 인트라 예측이 적용되는 경우 PU는 하나 또는 다수의 TU를 포함할 수 있다. 이 경우 예를 들어, 상기 현재 블록은 PU일 수 있다. 이 경우 디코딩 장치는 상기 PU에 대하여 상기 SDM 적용 여부를 판단할 수 있고, 상기 PU에 포함되는 TU에서 상기 SDM에 기반한 인트라 예측을 수행함으로써 상기 PU에 대한 예측 샘플을 생성할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 할 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.

Claims (15)

  1. 3D 비디오 디코딩 방법으로,
    현재 블록에 대하여 단일 뎁스 모드(single depth mode, SDM)가 적용되는지 여부를 지시하는 SDM 플래그 정보를 수신하는 단계;
    상기 현재 블록에 SDM이 적용되는 경우, 상기 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 도출된 제1 후보 및 제2 후보를 기반으로 예측 샘플을 생성하는 단계를 포함하되,
    상기 공간적 주변 참조 샘플들의 개수는 2개이고, 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치함을 특징으로 하는, 3D 비디오 디코딩 방법.
  2. 제 1항에 있어서,
    제1 후보 및 제2 후보는 상기 SDM을 위한 후보 리스트에 포함되고,
    상기 후보 리스트의 사이즈는 2로 고정된 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  3. 제 1항에 있어서,
    상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접(adjacent)하고, 상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접함을 특징으로 하는, 3D 비디오 디코딩 방법.
  4. 제 1항에 있어서,
    상기 제1 주변 참조 샘플은 상기 현재 블록의 좌측 경계에 인접하는 복원(reconstructed) 샘플들 중에서 y축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나이고,
    상기 제2 주변 참조 샘플은 상기 현재 블록의 상측 경계에 인접하는 복원 샘플들 중에서 x축 방향으로 가운데에 위치하는 2개의 샘플들 중 하나인 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  5. 제 1항에 있어서,
    상기 현재 블록의 사이즈가 n*n이고 상기 현재 블록의 좌상단(top-left) 샘플의 위치를 (0,0)이라 할 경우,
    상기 제1 주변 참조 샘플의 위치는 (-1, n/2)이고, 상기 제2 주변 샘플의 위치는 (n/2, -1)인 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  6. 제 1항에 있어서,
    상기 제1 후보 및 상기 제2 후보 중 하나를 지시하는 SDM 인덱스를 수신하는 단계를 더 포함하되,
    상기 제1 주변 참조 샘플 및 상기 제2 주변 참조 샘플은 상기 제1 주변 참조 샘플 및 상기 제2 주변 참조 샘플 순으로 상기 제1 후보 및 상기 제2 후보에 할당되고,
    상기 SDM 인덱스의 값이 0을 나타내는 경우, 상기 먼저 할당된 상기 제1 주변 참조 샘플이 상기 제1 후보로 지시됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  7. 제 1항에 있어서,
    상기 현재 블록은 CU이고,
    상기 SDM 플래그 정보는 CU 단위로 상기 SDM 적용 여부를 지시함을 특징으로 하는, 3D 비디오 디코딩 방법.
  8. 제 1항에 있어서,
    상기 제1 주변 참조 샘플 및 상기 제2 주변 참조 샘플 중 어느 하나가 가용하지 않은 경우, 다른(other) 가용한 참조 샘플이 상기 제1 후보로 할당(allocated)되고, 상기 제2 후보는 상기 가용한 참조 샘플의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  9. 제 1항에 있어서,
    상기 제1 주변 참조 샘플이 상기 제2 주변 참조 샘플과 같은 뎁스 값을 갖는 경우, 탐색 순서가 앞서는 상기 제1 주변 참조 샘플이 상기 제1 후보로 할당(allocated)되고, 상기 제2 후보는 상기 제1 주변 참조 샘플의 뎁스 값에 오프셋 값 1을 더한 뎁스 값을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  10. 제 1항에 있어서,
    상기 제1 주변 참조 샘플 및 상기 제2 주변 참조 샘플 중 어느 하나가 가용하지 않은 경우, 다른(other) 가용한 참조 샘플이 상기 제1 후보로 할당(allocated)되고,
    상기 가용한 참조 샘플의 뎁스 값은 DLT(depth look-up table)에 매핑되고,
    상기 제2 후보는 상기 가용한 참조 샘플이 매핑된 DLT의 인덱스보다 1 더 큰 인덱스가 지시하는 뎁스 값을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  11. 제 1항에 있어서,
    상기 제1 주변 참조 샘플이 상기 제2 주변 참조 샘플과 같은 뎁스 값을 갖는 경우, 탐색 순서가 앞서는 상기 제1 주변 참조 샘플이 상기 제1 후보로 할당(allocated)되고,
    상기 제1 주변 참조 샘플의 뎁스 값은 DLT(depth look-up table)에 매핑되고,
    상기 제2 후보는 상기 제1 주변 참조 샘플이 매핑된 DLT의 인덱스보다 1 더 큰 인덱스가 지시하는 상기 DLT 상의 뎁스 값을 기반으로 도출됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  12. 제 1항에 있어서,
    상기 제1 주변 참조 샘플 및 상기 제2 주변 참조 샘플 둘 다가 가용하지 않은 경우, 소정의 디폴트 값이 상기 제1 후보로 할당됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  13. 제 12항에 있어서,
    상기 디폴트 값은 비트심도(bitDepth) 값을 기반으로 결정됨을 특징으로 하는, 3D 비디오 디코딩 방법.
  14. 제 13항에 있어서,
    상기 디폴트 값은 1<<(비트심도-1)로 결정되는 것을 특징으로 하는, 3D 비디오 디코딩 방법.
  15. 3D 비디오 인코딩 방법으로,
    현재 블록에 대하여 단일 뎁스 모드(single depth mode, SDM)이 적용되는지 여부를 판단하는 단계;
    현재 블록에 SDM이 적용되는 경우, 상기 뎁스 맵 상의 상기 현재 블록의 공간적 주변 참조 샘플들을 이용하여 제1 후보 및 제2 후보를 포함하는 후보 리스트를 생성하는 단계;
    상기 후보 리스트를 기반으로 상기 현재 블록의 예측 샘플을 생성하는 단계; 및
    상기 현재 블록에 상기 SDM이 적용되는지 여부를 지시하는 SDM 플래그 정보를 인코딩하는 단계를 포함하되,
    상기 후보 리스트 생성에 이용되는 상기 공간적 주변 참조 샘플들의 개수는 2개이고, 상기 주변 참조 샘플들 중 제1 주변 참조 샘플은 상기 현재 블록의 좌측에 위치하고 제2 주변 참조 샘플은 상기 현재 블록의 상측에 위치함을 특징으로 하는, 3D 비디오 디코딩 방법.
KR1020177006805A 2014-10-08 2015-09-07 3d 비디오 부호화/복호화 방법 및 장치 KR20170065503A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462061164P 2014-10-08 2014-10-08
US201462061165P 2014-10-08 2014-10-08
US62/061,164 2014-10-08
US62/061,165 2014-10-08
PCT/KR2015/009424 WO2016056755A1 (ko) 2014-10-08 2015-09-07 3d 비디오 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20170065503A true KR20170065503A (ko) 2017-06-13

Family

ID=55653327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177006805A KR20170065503A (ko) 2014-10-08 2015-09-07 3d 비디오 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US10397611B2 (ko)
KR (1) KR20170065503A (ko)
WO (1) WO2016056755A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397611B2 (en) * 2014-10-08 2019-08-27 Lg Electronics Inc. Method and device for encoding/decoding 3D video
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
CN110312139A (zh) * 2019-06-18 2019-10-08 深圳前海达闼云端智能科技有限公司 图像传输的方法和装置、存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878148B1 (ko) 2010-05-04 2018-07-13 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
WO2013058520A1 (ko) 2011-10-18 2013-04-25 엘지전자 주식회사 인트라 예측 방법 및 그 장치
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
US20140002594A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science and Technology Research Institute Company Limited Hybrid skip mode for depth map coding and decoding
JP2014011631A (ja) 2012-06-29 2014-01-20 Sharp Corp 予測画像生成装置、復号装置、符号化装置、予測画像生成方法、復号方法、符号化方法、予測画像生成プログラム、復号プログラム及び符号化プログラム
WO2014053099A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US9237345B2 (en) 2013-02-26 2016-01-12 Qualcomm Incorporated Neighbor block-based disparity vector derivation in 3D-AVC
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
WO2015131387A1 (en) * 2014-03-07 2015-09-11 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
US10397611B2 (en) * 2014-10-08 2019-08-27 Lg Electronics Inc. Method and device for encoding/decoding 3D video
CN104333760B (zh) * 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置

Also Published As

Publication number Publication date
US20170280160A1 (en) 2017-09-28
US10397611B2 (en) 2019-08-27
WO2016056755A1 (ko) 2016-04-14

Similar Documents

Publication Publication Date Title
KR102135997B1 (ko) 심도 인트라 예측 모드들에 대한 잔차 코딩
US10070147B2 (en) Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
KR102269506B1 (ko) 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법 및 장치
KR101862498B1 (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
EP3059966B1 (en) Video decoding apparatus and method for decoding multi-view video
US20170310993A1 (en) Movement information compression method and device for 3d video coding
US20160255371A1 (en) Method and apparatus for coding/decoding 3d video
US20170310994A1 (en) 3d video coding method and device
US10419779B2 (en) Method and device for processing camera parameter in 3D video coding
KR102343817B1 (ko) 멀티-뷰 비디오의 디코딩 방법 및 장치
KR20170065502A (ko) 3d 비디오 부호화/복호화 방법 및 장치
US20160255368A1 (en) Method and apparatus for coding/decoding video comprising multi-view
KR20170065503A (ko) 3d 비디오 부호화/복호화 방법 및 장치
US20170180755A1 (en) 3d video encoding/decoding method and device