KR101709649B1 - 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치 - Google Patents

3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치 Download PDF

Info

Publication number
KR101709649B1
KR101709649B1 KR1020157002533A KR20157002533A KR101709649B1 KR 101709649 B1 KR101709649 B1 KR 101709649B1 KR 1020157002533 A KR1020157002533 A KR 1020157002533A KR 20157002533 A KR20157002533 A KR 20157002533A KR 101709649 B1 KR101709649 B1 KR 101709649B1
Authority
KR
South Korea
Prior art keywords
inter
view
reference picture
picture
current
Prior art date
Application number
KR1020157002533A
Other languages
English (en)
Other versions
KR20150034222A (ko
Inventor
지쳉 안
이-웬 첸
지안-리앙 린
쇼-민 레이
Original Assignee
미디어텍 싱가폴 피티이. 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 싱가폴 피티이. 엘티디. filed Critical 미디어텍 싱가폴 피티이. 엘티디.
Publication of KR20150034222A publication Critical patent/KR20150034222A/ko
Application granted granted Critical
Publication of KR101709649B1 publication Critical patent/KR101709649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H04N13/0048—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

3차원 비디오 코딩을 위한 픽쳐 내의 블록에 대하여 인터 뷰 후보를 도출하는 방법 및 장치가 개시된다. 본 발명의 실시형태는, 현재 픽쳐의 현재 블록에 대응하는 인터 뷰 픽쳐 내의 인터 뷰 병치 블록으로부터 인터 뷰 후보를 도출하고, 인터 뷰 픽쳐는 인터 뷰 참조 픽쳐이고, 인터 뷰 참조 픽쳐는 현재 블록의 참조 픽쳐 리스트 내에 있다. 이어서, 도출된 인터 뷰 후보는 현재 블록의 현재 모션 벡터 또는 변이 벡터의 인코딩 또는 디코딩을 위해 사용된다. 본 발명의 일 양상은 인터 뷰 병치 블록의 모션 정보의 재사용을 처리한다(address). 본 발명의 다른 양상은, 인터 뷰 후보를 도출하기 위해 사용될 수 있는 인터 뷰 픽쳐 상의 제한(constrain)을 처리한다(address).

Description

3D 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치{METHOD AND APPARATUS OF INTER-VIEW MOTION VECTOR PREDICTION AND DISPARITY VECTOR PREDICTION IN 3D VIDEO CODING}
[본원과 관련된 상호 참조 문헌]
본 발명은, "Methods to improve and simplify inter-view motion vector prediction and disparity vector prediction"을 발명의 명칭으로 하고 2012년 7월 3일에 출원된 PCT 특허 출원 PCT/CN2012/078103에 대한 우선권을 주장한다. 상기 PCT 특허 출원은 그 전체가 참조로서 여기에 포함되어 있다.
본 발명은 3차원 비디오 코딩에 관한 것이다. 특히, 본 발명은 3D 비디오 코딩에서의 인터 뷰 후보를 위한 모션 벡터 예측과 변이 벡터 예측의 유도에 관한 것이다.
3차원(3D) 텔레비전은 시청자들에게 선풍적인 시청 경험을 전달하는 것을 의도하는 최근 몇년간의 기술적 동향이 되었다. 3D 시청을 가능하게 하는 다양한 기술들이 개발되었다. 멀티뷰 비디오(multi-view video)가 다른 것들 중에서 3DTV를 위한 주요 기술이다. 종래의 비디오는 카메라의 시점으로부터 장면의 단일 뷰(single view)만을 시청자에게 제공하는 2차원(2D) 매체이다. 그러나, 멀티뷰 비디오는 동적 장면의 임의의 시점을 제공할 수 있고 현실적인 느낌을 시청자에게 제공한다.
통상적으로, 하나의 시점으로부터의 장면을 각 카메라가 캡처하도록 다중 카메라들이 적절하게 배치되는 다중 카메라를 사용하여 동시에 장면을 캡쳐(capture)함으로써 멀티뷰 비디오가 생성된다. 따라서, 다중 카메라들은 다중 뷰(multiple view)에 대응하는 다중 비디오 시퀀스(multiple video sequence)들을 캡쳐할 것이다. 더 많은 뷰들을 제공하기 위해, 뷰와 연관된 다수의 비디오 시퀀스에 의해 멀티뷰 비디오를 생성하는데 더 많은 카메라들이 사용된다. 따라서, 멀티뷰 비디오는 저장을 위한 대용량 저장 공간 및/또는 전송을 위한 높은 대역폭을 필요로 할 것이다. 따라서, 멀티뷰 비디오 코딩 기술은 필요한 저장 공간 또는 전송 대역폭을 감소시키기 위한 분야에서 개발되었다.
간단한 방식(straightforward approach)은, 각각의 단일 뷰 비디오 시퀀스에 종래의 비디오 코딩 기술을 개별적으로 간단히 적용하고 상이한 뷰들간의 임의의 연관성을 무시하게 될 수 있다. 예컨대, 도 1은 베이스뷰 비디오(base-view video)를 위해 표준 순응 비디오 코더(standard conforming video coder)(예컨대, HEVC/H.264)가 사용되는 종래의 비디오 코딩에 기초하는 3D 비디오 코딩의 간단한 구현을 나타낸다. 인커밍 3D 비디오 데이터는 다중 뷰에 대응하는 이미지들(110-0, 110-1, 110-2, …)로 구성된다. 각 뷰에 대하여 수집된 이미지들은 대응하는 뷰를 위한 이미지 시퀀스(image sequence)를 형성한다. 일반적으로, 베이스뷰[독립 뷰(independent view)라고도 함]에 대응하는 이미지 시퀀스(110-0)는, H.264/AVC 또는 HEVC(High Efficiency Video Coding) 등의 비디오 코딩 표준에 순응하는 비디오 코더(video coder)(130-0)에 의해 독립적으로 코딩된다. 종속 뷰(dependent view)(즉, 뷰 1, 2, …)와 연관된 이미지 시퀀스들을 위한 비디오 코더(130-1, 130-2 …)도 종래의 비디오 코더에 기초할 수 있다.
대화형 애플리케이션(interactive application)들을 지원하기 위해, 각 뷰에서의 장면과 연관된 깊이 맵(depth map)도 비디오 비트스트림(vitstream)에 포함된다. 도 1에 도시된 바와 같이, 깊이 맵과 연관된 데이터를 감소시키기 위해, 깊이 맵 코더(140-0, 140-1, 140-2,…)를 사용하여 독립적으로 압축되고, 압축된 깊이 맵 데이터가 비트스트림에 포함된다. 깊이 맵 코더와 이미지 코더로부터의 압축된 데이터를 결합하기 위해 멀티플렉서(multiplexer)(150)가 사용된다. 선택된 중간 시점에서의 가상의 뷰들을 합성(synthesizing)하기 위해 깊이 정보가 사용될 수 있다. 도 1에 도시된 바와 같은 3D 비디오 코딩 시스템은 개념상으로 단순하고 간단하다. 그러나, 압축 효율은 열악하다.
3D 비디오 코딩의 코딩 효율을 향상시키기 위한 다양한 기술들이 이 분야에 소개되었다. 코딩 기술을 표준화하기 위한 개발 활동들도 있다. 예컨대, ISO(International Organization for Standardization) 내의 워킹 그룹, ISO/IEC JTC1/SC29/WG11은 HEVC 기반 3D 비디오 코딩 표준을 개발하고 있다. HEVC 기반 3D 비디오 코딩 버전 3.1(HTM3.1)을 위한 참조용 소프트웨어에서, 인터 뷰 후보가 인접한 뷰들의 이전에 인코딩된 모션 정보에 기초하는, 인터(Inter), 합병(Merge), 및 생략(Skip) 모드를 위해 모션 벡터(MV : motion vector)/변이 벡터(DV : disparity vector) 후보로서 인터 뷰 후보가 추가된다. HTM3.1에서, 일명 코딩 유닛(CU : coding unit)인 압축을 위한 기본 유닛(basic unit)은 2Nx2N 사각 블록(square block)이고, 각 CU는 미리 규정된 최소 사이즈가 도달될 때까지 4개의 더 작은 CU로 재귀적으로 분할될(partitioned) 수 있다. 각 CU는 하나 또는 다중의 예측 유닛(PU : prediction unit)을 포함한다. 본 명세서의 나머지 부분에서, 사용되는 용어 "블록(block)"은, 아래 놓인 프로세싱이 예측과 연관될 때, PU와 동일하다.
도 2는 3D 비디오 코딩을 위한 커먼 테스트 조건(common test condition)에서 사용되는 예시적 예측 구조를 나타낸다. 특정 카메라 위치에 대응하는 깊이 맵과 비디오 픽쳐(video picture)는 뷰 식별자(view identifier)(즉, 도 2에서의 V0, V1, 및 V2)에 의해 표시된다. 동일 카메라 위치에 속하는 모든 깊이 맵과 비디오 픽쳐는 동일 viewId와 연관된다. 액세스 유닛 내에서의 코딩 순서를 명시하고(specifying), 오류 발생이 쉬운 환경에서 누락 뷰(missing view)들을 검출하기 위해 뷰 식별자가 사용된다. 액세스 유닛[예컨대, 액세스 유닛(210)] 내에서, 존재한다면 0과 동일한 viewId와 연관된 깊이 맵과 비디오 픽쳐(212)가 첫번째로 코딩된다. 0과 동일한 viewID와 연관된 깊이 맵과 비디오 픽쳐에 대하여 1과 동일한 viewId를 갖는 깊이 맵과 비디오 픽쳐(214), 2와 동일한 viewID를 갖는 깊이 맵과 비디오 픽쳐(216)가 후속한다. 0과 동일한 viewId를 갖는 뷰(즉, 도 2에서 V0)를 베이스 뷰 또는 독립 뷰라고도 한다. 베이스 뷰는, 임의의 다른 뷰로부터의 비디오 픽쳐들과 임의의 깊이 맵을 필요로 하지 않는 종래의 HEVC 비디오 코더를 사용하여 독립적으로 코딩된다.
도 2에 도시된 바와 같이, MVP(motion vector predictor)/DVP(disparity vector predictor)는 현재 블록을 위한 인터 뷰 픽쳐 내의 인터 뷰 블록으로부터 도출될 수 있다. 이하에서, "인터 뷰 픽쳐 내의 인터 뷰 블록"을 간략하게 "인터 뷰 블록"이라 할 수 있고, 도출된 후보를 인터 뷰 후보(즉, 인터 뷰 MVP/DVP)라 칭한다. 또한, 인터 뷰 병치 블록(inter-view collocated block)이라고도 칭하는 인접한 뷰 내의 대응 블록은, 현재 픽쳐 내의 현재 블록의 깊이 정보로부터 도출되는 변이 벡터를 사용함으로써 결정된다. 예컨대, 뷰(V2)에서의 현재 픽쳐(216) 내의 현재 블록(226)이 프로세싱되고 있다. 현재 블록(226)의 대응하는 위치에서의 각각의 인터 뷰 병치 블록(0 및 1)(즉, 212 및 214) 내에 블록(222) 및 블록(224)가 위치한다. 인터 뷰 병치 픽쳐(0 및 1)(즉, 212 및 214) 내의 대응 블록(232 및 234)(즉, 인터 뷰 병치 블록)은 각각 변이 벡터(242 및 244)에 의해 결정될 수 있다.
V1과 그리고 이어서 V2가 후속하는 V0(베이스 뷰)로 뷰 코딩 순서가 시작하는 것으로 가정한다. V2에서의 현재 픽쳐 내의 현재 블록이 코딩될 때, MVP/DVP 도출 프로세스는, V0에서의 대응 블록의 MV가 유효하고 이용가능한지를 우선 체크할 것이다. 긍정이면, 이 MV는 후보 리스트에 추가될 것이다. 부정이면, V1에서의 대응 블록의 MV를 체크하기 위해 MVP/DVP 도출 프로세스가 계속될 것이다.
HTM3.1에서, 병합 인터 뷰 MVP/DVP 후보 도출을 다음과 같은 알고리즘 1에서 볼 수 있다.
알고리즘 1: 병합 인터 뷰 후보 도출
1. 리스트 0에서의 최소 참조 인덱스를 갖는 일시 참조 픽쳐(temporal reference picture)에 대하여 알고리즘 2에 따라 MV를 도출한다;
2. 리스트 1에서의 최소 참조 인덱스를 갖는 일시 참조 픽쳐에 대하여 알고리즘 2에 따라 MV를 도출한다;
3. 상기 2개의 참조 픽쳐들 중 하나 또는 둘이 유효한 MV를 가지면, 단계 6으로 간다;
그렇지 않으면 단계 4로 간다;
4. 리스트 0에서의 다른 참조 픽쳐들에 대하여 오름차순으로 참조 인덱스에 따른 리스트 0에서의 이 픽쳐들을 체크하고 리스트 0에서의 주어진 참조 픽쳐에 대하여 알고리즘 2에 따라 MV/DV를 도출한다. 주어진 참조 픽쳐에 대하여 유요한 MV/DV가 도출되면, 단계 5로 간다.
5. 리스트 1에서의 다른 참조 픽쳐들에 대하여 오름차순으로 참조 인덱스에 따른 리스트 1에서의 이 픽쳐들을 체크하고 리스트 1에서의 주어진 참조 픽쳐에 대하여 알고리즘 2에 따라 MV/DV를 도출한다. 주어진 참조 픽쳐에 대하여 유요한 MV/DV가 도출되면, 단계 6으로 간다.
6. 완료.
알고리즘 2는 다음과 같이 설명된다:
알고리즘 2: 참조 픽쳐가 주어지면, 현재 블록을 위한 병합 인터 뷰 후보의 도출은 다음과 같다.
1. 참조 픽쳐가 일시 참조 픽쳐이면, V0으로부터 이전에 코딩된 뷰로, 참조 픽쳐를 포인팅(pointing)하는 인터 뷰 블록의 제1 MV가 사용된다.
2. 참조 픽쳐가 인터 뷰 참조 픽쳐이면, 변이 벡터가 깊이 맵으로부터 도출된다.
이어서, 현재 블록의 MV의 예측 코딩을 위한 MVP/DVP에 병합 인터 뷰 후보가 포함된다. 선택된 병합 인터 뷰 후보가 현재 블록의 모션 벡터(또는 변이 벡터)로 매우 양호한 매치(match)를 제공하면, 예측 레지듀(prediction residue)가 0이 될 것이다. 선택된 병합 인터 뷰 후보와 현재 블록의 모션 벡터(또는 변이 벡터) 사이에서 예측 레지듀를 전송할 필요는 없다. 이러한 경우에, 현재 블록은 선택된 병합 인터 뷰 후보의 모션 벡터(또는 변이 벡터)를 재사용할 수 있다. 즉, 현재 블록은 선택된 인터 뷰 병치 블록과 "병합될(merged)" 수 있다. 이것은 현재 블록의 모션 벡터와 연관된 필요한 대역폭을 감소시킬 것이다. 기존 방식에서의 병합 인터 뷰 후보 도출, 즉 HTM3.1은 매우 계산 집약적(computationally intensive)이다. 이것은 가능한 한 많이 코딩 효율을 유지하면서 도출 프로세스를 단순화하는 것이 바람직하다.
3차원 비디오 코딩을 위한 픽쳐 내의 블록에 대하여 인터 뷰 후보를 도출하는 방법 및 장치가 개시된다. 본 발명의 실시형태는, 현재 픽쳐의 현재 블록에 대응하는 인터 뷰 픽쳐 내의 인터 뷰 병치 블록으로부터 인터 뷰 후보를 도출하고, 인터 뷰 픽쳐는 인터 뷰 참조 픽쳐이고, 인터 뷰 참조 픽쳐는 현재 블록의 참조 픽쳐 리스트 내에 있다. 이어서, 도출된 인터 뷰 후보는 현재 블록의 현재 모션 벡터 또는 변이 벡터의 인코딩 또는 디코딩을 위해 사용된다.
인터 뷰 병치 블록의 위치는 깊이 맵 또는 글로발 변이 벡터로부터 도출되는 변이 벡터에 기초하여 결정될 수 있다. 인터 뷰 병치 블록의 모션 정보는 현재 픽쳐의 현재 블록에 의해 직접 재사용될 수 있고, 모션 정보는 모션 벡터, 예측 방향, 인터 뷰 병치 블록의 인터 뷰 참조 픽쳐의 식별, 및 이들의 임의의 조합을 포함하고, 예측 방향은 참조 픽쳐 리스트 0, 참조 픽쳐 리스트 1, 또는 양 예측(bi-prediction)을 포함한다. 본 발명의 일 양상은 인터 뷰 병치 블록의 모션 정보의 재사용을 처리한다(address). 인터 뷰 블록의 참조 픽쳐가 현재 블록의 참조 픽쳐 리스트 내에 있지 않으면, 모션 정보는 현재 블록의 타겟 참조 픽쳐로 조정될(scaled) 수 있다. 타겟 참조 픽쳐는 현재 블록의 모션 벡터가 나타내는(point to) 참조 픽쳐이다. 타켓 참조 픽쳐는 최소 참조 픽쳐 인덱스를 갖는 일시 참조 픽쳐, 현재 블록의 공간적으로 인접한 블록의 다수의 일시 참조 픽쳐에 대응하는 일시 참조 픽쳐, 또는 인터 뷰 병치 블록의 참조 픽쳐에 대한 최소 POC(Picture Order Count) 거리를 갖는 일시 참조 픽쳐가 될 수 있다.
본 발명의 다른 양상은, 병합 인터 뷰 후보를 도출하기 위해 사용될 수 있는 인터 뷰 픽쳐 상의 제한(constrain)을 처리한다(address). 일실시형태에서, 병합 인터 뷰를 도출하기 위해 하나의 인터 뷰 픽쳐만이 사용된다. 예컨대, 최소 참조 픽쳐 인덱스를 갖는 참조 픽쳐 리스트 0 내의 인터 뷰 참조 픽쳐만이 인터 뷰 후보를 도출하기 위해 사용된다. 참조 픽쳐 리스트 0 내에 인터 뷰 참조 픽쳐가 존재하지 않으면, 최소 참조 픽쳐 인덱스를 갖는 참조 픽쳐 리스트 1 내의 인터 뷰 참조 픽쳐만이 인터 뷰 후보를 도출하기 위해 사용된다. 다른 실시형태에서, 인터 뷰 후보를 도출하기 위해 최소 뷰 인덱스를 갖는 인터 뷰 참조 픽쳐만이 사용된다. 인터 뷰 후보를 도출하기 위해 어느 인터 뷰 참조 픽쳐가 사용되는지를 나타내기 위해 하나의 구문 요소(syntax element)가 사용될 수 있다. 또 다른 실시형태에서, 인터 뷰 후보를 도출하기 위해 인터 뷰 참조 픽쳐에 대응하는 어느 참조 픽쳐 리스트가 사용되는지를 나타내기 위해 하나의 구문 요소가 시그널링된다(signaled). 또 다른 실시형태에서, 인터 뷰 후보를 도출하기 위해 디코딩된 픽쳐 버퍼(decoded picture buffer) 내 또는 베이스뷰 내의 인터 뷰 픽쳐만이 사용된다.
도 1은 3차원 비디오 코딩 시스템을 위한 예측 구조의 실시예를 나타낸다.
도 2는 3차원(3D) 비디오 코딩을 위한 보통의 테스트 조건에서 사용되는 예시적 예측 구조를 나타낸다.
도 3a 및 도 3b는 HEVC(High Efficiency Video Coding) 기반 3D 비디오 코딩 버전 3.1(HTM3.1)에 개시된 알고리즘에 따른 병합 인터 뷰 후보 도출의 실시예를 나타낸다.
도 4a 및 도 4b는 본 발명의 실시형태에 따른 병합 인터 뷰 후보 도출의 실시예를 나타낸다.
도 5는 병합 인터 뷰 후보를 도출하기 위한 본 발명의 실시형태를 통합시키는 3차원 코딩 시스템의 예시적 플로우차트를 나타낸다.
모션 벡터 예측과 변이 벡터 예측(MVP/DVP)로 인한 높은 코딩 효율의 장점을 취하기 위해, 높은 계산적 복잡도를 회피하면서, 본 발명에 따른 실시형태는 간략화된 인터 뷰 모션 벡터 예측과 변이 벡터 예측을 사용한다. 이후에 예시되는 인터 뷰 모션 벡터 예측과 변이 벡터 예측을 위한 특정 실시예는 본 발명의 한정으로서 이해되지 않아야 한다. 통상의 기술자는 본 발명의 사상으로부터 벗어나지 않고 본 발명을 실시하기 위한 예측 방법에 대한 수정을 사용할 수 있다.
병합 인터 뷰 MVP/DVP 도출에 대한 기존 방식(즉, HTM3.1)에서, 현재 픽쳐의 참조 픽쳐 리스트 내에 인터 뷰 픽쳐가 존재하지 않더라도 인터 뷰 후보로서 이전에 코딩된 뷰에서의 대응하는 블록의 모든 모션 벡터(MV) 또는 변이 벡터(DV)가 추가될 수 있다. 아래 설명에서, 병합 인터 뷰 후보의 도출을 위한 실시예로서 모션 벡터 예측이 항상 사용될 것이다. 그러나, 통상의 기술자는 병합 인터 뷰 후보의 도출을 변이 벡터 예측으로 확장할 수 있다. 본 발명에서, 디코딩된 픽쳐의 더 나은 관리를 제공하기 위해 인터 뷰 후보(즉, MVP 후보 또는 DVP 후보)의 도출이 제한된다. 예컨대, 이 제한은 인터 뷰 후보를 도출하기 위해 현재 픽쳐의 디코딩된 픽쳐 버퍼 내 또는 참조 픽쳐 리스트(리스트 0 또는 리스트 1) 내에 있는 인터 뷰 픽쳐만이 사용되도록 할 수 있다. 다른 실시예에서, 이 제한은 인터 뷰 후보를 도출하기 위해 하나의 인터 뷰 픽쳐만이 사용되도록 수 있게 한다. 다른 실시예에서, 이 제한은 인터 뷰 후보를 도출하기 위해 베이스 뷰(독립 뷰) 내의 인터 뷰 픽쳐의 MV만이 사용되도록 할 수 있다. 이 제한은 개별적으로 또는 공동으로 적용될 수 있다.
상기 제한이 공동으로 적용될 때, 추가 제한 또는 피처(feature)가 적용될 수 있다. 예컨대, 제1 및 제2 제약이 함께 적용될 때, 인터 뷰 후보를 도출하도록 지정된 인터 뷰 참조 픽쳐를 선택하기 위해 후술하는 추가 제한 또는 피처가 적용될 수 있다. 추가 제한의 제1 실시예에서, 최소 참조 픽쳐 인덱스를 갖는 리스트 0 내의 인터 뷰 참조 픽쳐만이 인터 뷰 후보를 도출하기 위해 사용될 수 있다. 리스트 0에 인터 뷰 참조 픽쳐가 존재하지 않으면, 최소 참조 픽쳐 인덱스를 갖는 리스트 1에서의 인터 뷰 참조 픽쳐만이 인터 뷰 후보를 도출하기 위해 사용될 수 있다. 추가 제한의 제2 실시예에서, 최소 참조 뷰 인덱스를 갖는 인터 뷰 참조 픽쳐만이 인터 뷰 후보를 도출하기 위해 사용될 수 있다. 추가 제한의 제3 실시예에서, 인터 뷰 후보를 도출하기 위해 어느 인터 뷰 참조 픽쳐가 사용되는지를 나타내기 위해 하나의 구문 요소(예컨대 view ID)가 사용될 수 있다. 추가 제한의 제4 실시예에서, 선택된 인터 뷰 참조 픽쳐에 참조 픽쳐 리스트(즉, 리스트 0 또는 리스트 1)가 대응한다는 것을 나타내기 위해 하나의 구문 요소가 시그널링된다. 제4 추가 제한에 기초하여, 인터 뷰 후보를 도출하기 위해 최소 참조 픽쳐 인덱스를 갖는 인터 뷰 참조 픽쳐만이 사용될 수 있다. 제4 추가 제한에 기초하여, 인터 뷰 후보를 도출하기 위해 참조 픽쳐 리스트에서의 인터 뷰 참조 픽쳐가 사용되는 것을 나타내도록 하나의 구몬 요소가 시그널링될 수 있다.
HTM3.1에서, 병합 인터 뷰 후보의 도출은 복잡하고 몇가지 후보들은 적당하지 않을 수 있다. 도 3은 후보가 적당하지 않은 2개의 실시예를 나타낸다.
도 3a에서, V0에서의 인터 뷰 블록(310)은 2개의 MV(312 및 314)를 갖는다. 하나의 MV는 리스트 0의 참조 인덱스 0을 포인팅하고, 다른 MV는 리스트 1의 참조 인덱스 1을 포인팅한다. 그러나, 현재 HTM3.1에서의 알고리즘 1에 이어서, 리스트 0의 참조 인덱스 0을 포인팅하는 MV만이 V1에서의 현재 블록(320)을 위해 병합 인터 뷰 후보로서 사용되고, 리스트 1의 참조 인덱스 1을 포인팅하는 MV는 사용되지 않는다.
도 3b에서, V0에서의 인터 뷰 블록(340)은 리스트 0의 참조 인덱스 1을 포인팅하는 하나의 MV(342)를 갖는다. V0에서의 인터퓨 픽쳐는 참조 인덱스 1을 갖는 참조 픽쳐로서 현재 픽쳐의 리스트 0에 삽입된다(inserted). 리스트 0에 V0에서의 인터 뷰 픽쳐가 삽입된 후에, 리스트 0에서의 참조 인덱스는, V0을 위한 대응 참조 픽쳐(Ref 1 L0)가 V1을 위한 Ref2 L0으로 변경되는 도 3b에 도시된 바와 같이 변경될 것이다. 알고리즘 1에 따르면, 현재 블록(330)의 인터 뷰 후보는 V0에서의 리스트 0의 참조 인덱스 1을 포인팅하는 변이 벡터(332)이다. 그러나, 변이 벡터가 대신 사용되기 때문에 V1에서의 현재 블록을 위해 V0에서의 인터 뷰 블록의 MV가 사용되지 않는다.
적당하지 않은 인터 뷰 후보를 회피하기 위해, 본 발명의 실시형태는 알고리즘 3에 개시된 바와 같이 인터 뷰 후보 선택 상의 제한을 도입함으로써 상이한 병합 인터 뷰 후보 도출을 사용한다.
알고리즘 3: 병합 인터 뷰 후보 도출
1. 상기한 바와 같이, 인터 뷰 후보 도출에 하나 이상의 제한을 포함시키는 본 발명의 실시형태에 따라 병합 인터 뷰 후보를 도출하기 위해 사용되는 인터 뷰 픽쳐를 결정한다.
2. 단계 1에 의해 결정된 소정의 인터 뷰 픽쳐에 대하여 알고리즘 4에 따라 인터 뷰 모션 후보를 도출한다.
3. 인터 뷰 모션 후보가 이용가능하면, 단계 5로 간다.
그렇지 않고 다음 인터 뷰 픽쳐가 이용가능하면 단계 2로 간다.
그렇지 않으면 단계 4로 간다;
4. 알고리즘 5 또는 알고리즘 6에 따라 인터 뷰 변이 벡터 후보를 도출한다.
5. 완료.
알고리즘 4: 병합 인터 뷰 모션 후보 도출
인터 뷰 블록의 MV, 예측 방향(L0, L1, 또는 Bi-pred), 및 참조 픽쳐를 포함하는 모션 정보는 모두 현재 블록을 위해 사용될 수 있다. 실시형태에 따른 예시적 프로세싱 단계들을 아래와 같이 나타낸다.
1. 인터 뷰 픽쳐의 viewId는 Vi이고, 현재 픽쳐의 viewId는 Vc인 것으로 가정한다.
2. view Vi를 갖는 소정의 인터 뷰 픽쳐의 각 참조 리스트에 대하여,
- 인터 뷰 블록의 인터 예측(Inter prediction)을 위해 view Vi를 갖는 참조 픽쳐(ColRef)가 있고;
- 현재 픽쳐의 동일한 참조 리스트에 ColRef의 view Vc도 있으면,
- 이 리스트 내의 현재 블록의 MV와 참조 픽쳐가 개별적으로 ColRef의 view Vi를 포인팅하는 인터 뷰 블록의 MV와 ColRef의 view Vc로 설정된다.
- 현재 블록의 이 참조 리스트의 인터 뷰 모션 후보는 이용가능한 것으로 마킹된다.
3. 리스트 0 또는 리스트 1의 인터 뷰 모션 후보가 이용가능하면, 현재 블록의 인터 뷰 모션 후보가 이용가능한 것으로 마킹된다.
그렇지 않으면, 현재 블록의 인터 뷰 모션 후보가 이용가능하지 않은 것으로 마킹된다.
알고리즘 4 단계 2에서, 현재 픽쳐의 동일한 참조 리스트에 ColRef의 view Vc가 있지 않으면, 현재 블록의 이 참조 리스트의 인터 뷰 모션 벡터 후보는 이용가능하지 않은 것으로 마킹될 것이다. 그러나, 아래와 같이 몇가지 대안 방법이 있다. 예컨대, 현재 픽쳐의 동일 참조 리스트에 ColRef의 view Vc가 있지 않으면, ColRef을 포인팅하는 인터 뷰 블록의 MV는 현재 블록의 타겟 참조 픽쳐로 크기 변경되고(scaled), 크기 변경된 MV는 현재 블록의 MV로 설정되며, 타겟 픽쳐는 최소 참조 픽쳐 인덱스를 갖는 일시 참조 픽쳐가 될 수 있으며, 일시 참조 픽쳐는 공간적으로 인접한 블록의 다수의 일시 참조 픽쳐이거나 ColRef에 대하여 최소 POC(picture order count) 거리를 갖는다
알고리즘 5: 병합 인터 뷰 변이 벡터 후보 도출
현재 픽쳐의 각 참조 리스트에 대하여:
최소 참조 인덱스를 갖는 인터 뷰 참조 픽쳐인 참조 픽쳐는 현재 블록의 리스트의 참조 픽쳐로서 사용되고;
글로벌 변이 벡터 또는 깊이 맵으로부터 도출되는 변이 벡터는 현재 블록의 MV로서 사용된다.
알고리즘 6: 병합 인터 뷰 변이 벡터 후보 도출
1. 현재 픽쳐의 참조 리스트 0에 대하여, 최소 참조 인덱스를 갖는 인터 뷰 참조 픽쳐인 참조 픽쳐가 현재 블록의 리스트 0의 참조 픽쳐로서 사용되고, 글로벌 변이 벡터 또는 깊이 맵으로부터 도출되는 변이 벡터가 현재 블록의 MV로서 사용된다.
2. 현재 블록의 리스트 0의 참조 픽쳐와 MV가 유효하고 이용가능하면, 단계 4로 가고;
그렇지 않으면 단계 3으로 간다.
3. 현재 픽쳐의 참조 리스트 1에 대하여, 최소 참조 인덱스를 갖는 인터 뷰 참조 픽쳐인 참조 픽쳐가 현재 블록의 리스트 1의 참조 픽쳐로서 사용되고, 글로벌 변이 벡터 또는 깊이 맵으로부터 도출되는 변이 벡터가 현재 블록의 MV로서 사용된다.
4. 완료.
알고리즘 3에서 설명한 바와 같이 본 발명의 실시형태를 포함하는 시스템에 대하여, 도 3에 도시된 경우에 대한 병합 인터 뷰 후보 도출은 도 4에 도시된 바와 같이 수정된다. 도 4a는 알고리즘 3을 기초하여 인터 뷰 후보 도출의 실시예를 나타내고, 종래의 알고리즘을 기초한 도출은 도 3a에 도시된 결과로 이어질 것이다. 알고리즘 3의 단계 1에 따라, V0은 인터 뷰 후보를 도출하기 위해 사용된다. 단계 2에 따라(즉, 인터 뷰 모션 후보를 도출하기 위해 알고리즘 4를 사용함), V0의 list0 refdx0을 위한 인터 뷰 블록은 MV(412)를 갖는다. 한편, 이 ColRef의 V1(즉, V0의 L0 Ref0)도 현재 블록의 list0 내에 있다. 따라서, MV(422)는 V0으로부터 V1을 위한 L0의 인터 뷰 후보로서 재사용된다. 동일한 도출이 V0의 L1 refidx1에 적용된다. V0의 list1 refidx1과 연관된 MV(414)는 인터 뷰 후보 MV(424)로서 V1을 위해 재사용될 수 있다. 도 4b는 본 발명에 따른 인터 뷰 후보 도출의 다른 실시예를 나타내고, 종래의 알고리즘에 기초한 도출은 도 3b에 도시된 결과로 이어질 것이다. 알고리즘 3의 단계 1에 따라, V0은 인터 뷰 후보를 도출하기 위해 사용된다. 단계 2에 따라(즉, 인터 뷰 모션 후보를 도출하기 위해 알고리즘 4를 사용함), V0의 list0 refdx1을 위한 인터 뷰 블록은 MV(432)를 갖는다. 한편, 이 ColRef의 V1(즉, V0의 L0 Ref1)도 현재 블록의 list0 내에 있다. 따라서, MV(442)는 V0으로부터 V1을 위한 L0의 인터 뷰 후보로서 재사용된다.
도 5는 본 발명의 실시형태에 따른 제한된 병합 인터 뷰 후보 도출을 포함하는 3차원 인코딩 또는 디코딩 시스템의 예시적 플로우차트를 나타낸다. 상기 시스템은 단계 510에서 도시된 바와 같이 현재 픽쳐의 현재 블록의 현재 모션 벡터 또는 변이 벡터와 연관된 데이터를 수신한다. 인코딩을 위해, 현재 블록의 현재 모션 벡터 또는 변이 벡터와 연관된 데이터는 변이 벡터 자체 또는 현재 모션 벡터에 대응할 수 있다. 디코딩을 위해, 현재 블록의 현재 모션 벡터 또는 변이 벡터와 연관된 데이터는 변이 벡터 자체 또는 코딩된 현재 모션 벡터에 대응할 수 있다. 컴퓨터 메모리, 버퍼(RAM 또는 DRAM) 등의 스토리지(storage)로부터 데이터가 검색될 수 있다. 인코딩을 위한 현재 모션 벡터 또는 변이 벡터를 도출하거나 디코딩을 위한 비트스트림으로부터 변이 벡터 또는 코딩된 모션 벡터를 복구하는, 컨트롤러, 중앙 처리 유닛 디지털 신호 프로세서 또는 전자 회로 등의 프로세서로부터 데이터가 검색될 수도 있다. 단계 520에 도시된 바와 같이 현재 픽쳐의 현재 블록에 대응하는 인터 뷰 픽쳐에서 인터 뷰 병치 블록으로부터 병합 인터 뷰 후보가 도출되고, 인터 뷰 픽쳐는 인터 뷰 참조 픽쳐이고, 인터 뷰 참조 픽쳐는 현재 블록의 참조 픽쳐 리스트 내의 최소 참조 픽쳐 인덱스를 갖거나 베이스 뷰 내에 있다. 이어서, 단계 530에 도시된 바와 같이 병합 인터 뷰 후보를 포함하는 변이 벡터 예측(DVP) 또는 모션 벡터 예측(MVP)에 기초하여 현재 픽쳐의 현재 블록의 현재 모션 벡터 또는 변이 벡터에 예측 코딩이 적용된다. 예측 인코딩을 위해, 인터 뷰 MVP/DVP 후보는 현재 모션 벡터 또는 변이 벡터와 동일하게 될 수 있다. 이러한 경우에, 현재 모션 벡터 또는 변이 벡터가 병합 인터 뷰 후보와 연관된 모션 정보를 재사용할 수 있도록, 병합 인터 뷰 코딩이 사용될 수 있다. 예측 디코딩을 위해, 현재 블록을 위해 병합 인터 뷰 모드가 사용되는 것을 코딩된 현재 모션 벡터 또는 변이 벡터가 나타내면, 현재 모션 벡터 또는 변이 벡터는 MVP/DVP와 연관된 모션 정보를 사용하여 복구될 수 있다.
상기 도시된 플로우차트는 서브 블록 파티션(sub-block partition)에 기초하는 인터 뷰 예측의 실시예를 예시하는 것을 의도한다. 통상의 기술자는, 본 발명의 사상으로부터 벗어나지 않고, 본 발명을 실시하기 위해, 각 단계를 수정하고, 단계들을 재정렬하고, 단계를 나누고, 또는 단계들을 결합할 수 있다.
특정 애플리케이션의 콘텍스트(context)와 그 필요사항에 제공된 바와 같이 본 발명을 통상의 기술자가 실시할 수 있게 하기 위해 상기 설명이 제공된다. 개시된 실시형태에 대한 다양한 수정은 통상의 기술자에게 명백하게 될 것이고, 여기에 규정된 일반적 원리는 다른 실시형태에 적용될 수 있다. 따라서, 본 발명은, 도시 및 개시된 특정 실시형태에 한정되는 것을 의도하지 않고, 여기에 개시된 새로운 특징과 원리와 일치하는 최광의 범위에 따르는 것이다. 상기 상세한 설명에서, 본 발명에 대한 완전한 이해를 제공하기 위해 다양한 특정 세부사항이 예시되었다. 그럼에도 불구하고, 통상의 기술자에 의해 본 발명이 실시될 수 있는 것이 이해될 것이다.
상기한 바와 같은 본 발명의 실시형태는 다양한 하드웨어, 소프트웨어 코드들, 또는 이 두가지의 조합으로 구현될 수 있다. 예컨대, 본 발명의 실시형태는 여기에 개시된 프로세싱을 수행하기 위한, 비디오 압축 칩에 통합된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드가 될 수 있다. 또한, 본 발명의 실시형태는 여기에 개시된 프로세싱을 수행하기 위해, DSP(Digital Signal Processor) 상에서 실행될 프로그램 코드가 될 수 있다. 또한, 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 FPGA(field programmable gate array)에 의해 수행될 다수의 기능들을 포함할 수 있다. 이들 프로세서들은 본 발명에 의해 실시되는 특정 방법들을 규정하는 펌웨어 또는 기계-판독가능 소프트웨어 코드를 실행함으로써 본 발명에 따른 특정 과제를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어들 및 상이한 포맷이나 스타일로 개발될 수 있다. 또한, 소프트웨어 코드는 상이한 타겟 플랫폼을 위해 컴파일(compile)될 수 있다. 그러나, 본 발명에 따른 과제들을 수행하기 위한 코드를 구성하는 소프트웨어의 상이한 코드 포맷들, 스타일들, 및 언어들과 다른 수단들은 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.
본 발명은 그 사상 또는 본질적 특징으로부터 벗어나지 않는 다른 특정 형태로 실시될 수 있다. 개시된 실시예들은 모든면에서 한정이 아닌 예시로서만 간주될 것이다. 따라서, 본 발명의 범위는 상기 설명에 의해서가 아니라 첨부된 청구범위에 의해 제시된다. 청구범위의 동등 범위 및 의미 내에 있는 모든 변경들은 그 범위 내에 포함된다.

Claims (22)

  1. 3차원 비디오 코딩을 위해 픽쳐(picture) 내의 블록에 대하여 예측 후보 리스트를 도출하는 방법에 있어서,
    현재 픽쳐의 현재 블록의 변이 벡터 또는 현재 모션 벡터와 연관된 데이터를 수신하는 단계;
    상기 현재 픽쳐의 현재 블록에 대응하는 인터 뷰(inter-view) 픽쳐 내의 인터 뷰 병치 블록(inter-view collocated block)으로부터 상기 예측 후보 리스트에 추가될 인터 뷰 후보를 도출하는 단계로서, 상기 인터 뷰 픽쳐는 인터 뷰 참조 픽쳐이고, 상기 인터 뷰 참조 픽쳐는 상기 현재 블록의 참조 픽쳐 리스트 내에 있으며, 상기 인터 뷰 병치 블록의 위치는 깊이 맵 또는 글로벌 변이 벡터(global disparity vector)로부터 도출되는 변이 벡터에 기초하여 결정되는 것인, 상기 인터 뷰 후보를 도출하는 단계; 및
    상기 예측 후보 리스트에 기초하여 상기 현재 픽쳐의 현재 블록의 변이 벡터 또는 현재 모션 벡터를 인코딩 또는 디코딩하는 단계를 포함하는, 예측 후보 리스트를 도출하는 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 인터 뷰 병치 블록의 모션 정보는 상기 현재 픽쳐의 현재 블록에 의해 직접 재사용되고, 상기 모션 정보는 모션 벡터들, 예측 방향, 상기 인터 뷰 병치 블록의 참조 픽쳐들, 및 이들의 임의의 조합을 포함하고, 상기 예측 방향은 참조 픽쳐 리스트 0, 참조 픽쳐 리스트 1, 또는 양 예측(bi-prediction)을 포함하는 것인, 예측 후보 리스트를 도출하는 방법.
  4. 제3항에 있어서, 상기 모션 정보는, 상기 인터 뷰 병치 블록의 참조 픽쳐가 상기 현재 블록의 임의의 참조 픽쳐 리스트 내에 있지 않으면 상기 현재 블록의 타겟 참조 픽쳐(target reference picture)로 크기 변경되는(scaled) 것인, 예측 후보 리스트를 도출하는 방법.
  5. 제4항에 있어서, 상기 타겟 참조 픽쳐는 최소 참조 픽쳐 인덱스를 갖는 일시 참조 픽쳐(temporal reference picture)인 것인, 예측 후보 리스트를 도출하는 방법.
  6. 제4항에 있어서, 상기 타겟 참조 픽쳐는 상기 현재 블록의 공간적으로 인접한 블록들의 다수의 일시 참조 픽쳐들에 대응하는 일시 참조 픽쳐인 것인, 예측 후보 리스트를 도출하는 방법.
  7. 제4항에 있어서, 상기 타겟 참조 픽쳐는 상기 인터 뷰 병치 블록의 참조 픽쳐에 대하여 최소 POC(Picture Order Count) 거리를 갖는 일시 참조 픽쳐인 것인, 예측 후보 리스트를 도출하는 방법.
  8. 제1항에 있어서, 상기 인터 뷰 병치 블록의 하나의 변이 벡터는, 상기 인터 뷰 병치 블록의 모션 정보가 상기 현재 블록에 대해 유효하지 않으면 상기 인터 뷰 병치 블록의 모션 벡터로서 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  9. 제1항에 있어서, 상기 인터 뷰 후보를 도출하기 위해 하나의 인터 뷰 픽쳐만이 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  10. 제9항에 있어서, 제1 최소 참조 픽쳐 인덱스를 갖는 참조 픽쳐 리스트 0 내의 제1 인터 뷰 참조 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되고,
    인터 뷰 참조 픽쳐가 참조 픽쳐 리스트 0 내에 없으면, 제2 최소 참조 픽쳐 인덱스를 갖는 참조 픽쳐 리스트 내의 제2 인터 뷰 참조 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  11. 제9항에 있어서, 최소 뷰 인덱스(smallest view index)를 갖는 인터 뷰 참조 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  12. 제9항에 있어서, 어느 인터 뷰 참조 픽쳐가 상기 인터 뷰 후보를 도출하기 위해 사용되는지를 나타내기 위해, 하나의 구문 요소(syntax element)가 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  13. 제9항에 있어서, 상기 인터 뷰 참조 픽쳐에 대응하는 어느 참조 픽쳐 리스트가 상기 인터 뷰 후보를 도출하기 위해 사용되는지를 나타내기 위해, 하나의 구문 요소가 시그널링되는 것인, 예측 후보 리스트를 도출하는 방법.
  14. 제9항에 있어서, 최소 참조 픽쳐 인덱스를 갖는 인터 뷰 참조 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  15. 제14항에 있어서, 상기 참조 픽쳐 리스트 내의 어느 인터 뷰 참조 픽쳐가 상기 인터 뷰 후보를 도출하기 위해 사용되는지를 나타내기 위해, 하나의 구문 요소가 시그널링되는 것인, 예측 후보 리스트를 도출하는 방법.
  16. 제1항에 있어서, 디코딩된 픽쳐 버퍼 내의 인터 뷰 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  17. 제1항에 있어서, 베이스 뷰(base view) 내의 인터 뷰 픽쳐만이 상기 인터 뷰 후보를 도출하기 위해 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  18. 제1항에 있어서, 3차원 비디오 인코딩을 위해, 상기 현재 모션 벡터 또는 변이 벡터와 연관된 데이터는 상기 현재 모션 벡터 또는 변이 벡터에 대응하고,
    상기 현재 블록의 변이 벡터 또는 현재 모션 벡터를 인코딩 또는 디코딩하는 단계는, 상기 현재 블록의 코딩된 현재 모션 벡터 또는 변이 벡터를 생성하는 것인, 예측 후보 리스트를 도출하는 방법.
  19. 제1항에 있어서, 3차원 비디오 디코딩을 위해, 상기 현재 모션 벡터 또는 변이 벡터와 연관된 데이터는 코딩된 현재 모션 벡터 또는 변이 벡터에 대응하고,
    상기 현재 블록의 변이 벡터 또는 현재 모션 벡터를 인코딩 또는 디코딩하는 단계는, 상기 현재 블록의 복구된 현재 모션 벡터 또는 변이 벡터를 생성하는 것인, 예측 후보 리스트를 도출하는 방법.
  20. 3차원 비디오 코딩을 위해 픽쳐 내의 블록에 대하여 예측 후보 리스트를 도출하는 장치에 있어서,
    전자 회로들을 포함하고, 상기 전자 회로들은,
    현재 픽쳐의 현재 블록의 변이 벡터 또는 현재 모션 벡터와 연관된 데이터를 수신하고;
    상기 현재 픽쳐의 현재 블록에 대응하는 인터 뷰(inter-view) 픽쳐 - 상기 인터 뷰 픽쳐는 인터 뷰 참조 픽쳐이고, 상기 인터 뷰 참조 픽쳐는 상기 현재 블록의 참조 픽쳐 리스트 내에 있으며, 상기 인터 뷰 병치 블록의 위치는 깊이 맵 또는 글로벌 변이 벡터(global disparity vector)로부터 도출되는 변이 벡터에 기초하여 결정됨 - 내의 인터 뷰 병치 블록(inter-view collocated block)으로부터 상기 예측 후보 리스트에 추가될 인터 뷰 후보를 도출하며;
    상기 예측 후보 리스트에 기초하여 상기 현재 픽쳐의 현재 블록의 변이 벡터 또는 현재 모션 벡터를 인코딩 또는 디코딩하도록 구성되는 것인, 예측 후보 리스트를 도출하는 장치.
  21. 제1항에 있어서, 상기 예측 후보 리스트에 추가될 변이 벡터 후보로서 하나의 변이 벡터가 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
  22. 제21항에 있어서, 상기 변이 벡터는, 조건이 참(true)이면 상기 변이 벡터 후보로서 사용되는 것인, 예측 후보 리스트를 도출하는 방법.
KR1020157002533A 2012-07-03 2013-05-20 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치 KR101709649B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2012/078103 2012-07-03
PCT/CN2012/078103 WO2014005280A1 (en) 2012-07-03 2012-07-03 Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
PCT/CN2013/075894 WO2014005467A1 (en) 2012-07-03 2013-05-20 Method and apparatus of inter-view motion vector prediction and disparity vector prediction in 3d video coding

Publications (2)

Publication Number Publication Date
KR20150034222A KR20150034222A (ko) 2015-04-02
KR101709649B1 true KR101709649B1 (ko) 2017-02-24

Family

ID=49881230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002533A KR101709649B1 (ko) 2012-07-03 2013-05-20 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치

Country Status (5)

Country Link
US (1) US20150304681A1 (ko)
EP (1) EP2850523A4 (ko)
KR (1) KR101709649B1 (ko)
RU (1) RU2631990C2 (ko)
WO (2) WO2014005280A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10057594B2 (en) * 2013-04-02 2018-08-21 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
WO2015143603A1 (en) * 2014-03-24 2015-10-01 Mediatek Singapore Pte. Ltd. An improved method for temporal motion vector prediction in video coding
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
CN107005705B (zh) * 2014-10-07 2021-03-09 三星电子株式会社 使用层间预测对多层图像进行编码或解码的方法和装置
AU2015328955B2 (en) * 2014-10-08 2018-01-04 Lg Electronics Inc. Depth picture coding method and device in video coding
US10321128B2 (en) 2015-02-06 2019-06-11 Sony Corporation Image encoding apparatus and image encoding method
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10356417B2 (en) * 2016-09-30 2019-07-16 Intel Corporation Method and system of video coding using projected motion vectors
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
WO2020091404A1 (ko) * 2018-10-30 2020-05-07 엘지전자 주식회사 비디오 송신 방법, 비디오 전송 장치, 비디오 수신 방법 및 비디오 수신 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136232A (ja) * 2002-07-15 2008-06-12 Hitachi Ltd 動画像復号化方法
US20120134415A1 (en) 2010-11-29 2012-05-31 Mediatek Inc. Method and Apparatus of Extended Motion Vector Predictor

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
ES2353423T3 (es) * 2002-10-04 2011-03-02 Lg Electronics, Inc. Sistema de cálculo de vectores de movimiento de modo directo para imágenes b.
US7346111B2 (en) * 2003-12-10 2008-03-18 Lsi Logic Corporation Co-located motion vector storage
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
KR101039204B1 (ko) * 2006-06-08 2011-06-03 경희대학교 산학협력단 다시점 비디오 코딩에서의 움직임 벡터 예측 방법 및 이를이용한 다시점 영상의 부호화/복호화 방법 및 장치
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
KR100941608B1 (ko) * 2006-10-17 2010-02-11 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
EP2215844A2 (en) * 2007-10-15 2010-08-11 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8693539B2 (en) * 2009-03-26 2014-04-08 Panasonic Corporation Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
EP2898696B1 (en) * 2012-09-19 2022-09-07 Qualcomm Incorporated Selection of pictures for disparity vector derivation
WO2014045954A1 (ja) * 2012-09-20 2014-03-27 ソニー株式会社 画像処理装置および方法
US9736498B2 (en) * 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
WO2014166109A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
WO2015006984A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Reference view selection for 3d video coding
WO2015021914A1 (en) * 2013-08-13 2015-02-19 Mediatek Inc. Method of deriving default disparity vector in 3d and multiview video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136232A (ja) * 2002-07-15 2008-06-12 Hitachi Ltd 動画像復号化方法
US20120134415A1 (en) 2010-11-29 2012-05-31 Mediatek Inc. Method and Apparatus of Extended Motion Vector Predictor

Also Published As

Publication number Publication date
RU2631990C2 (ru) 2017-09-29
US20150304681A1 (en) 2015-10-22
RU2014147347A (ru) 2016-06-10
KR20150034222A (ko) 2015-04-02
WO2014005280A1 (en) 2014-01-09
WO2014005467A1 (en) 2014-01-09
EP2850523A4 (en) 2016-01-27
EP2850523A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
KR101709649B1 (ko) 3d 비디오 코딩에서의 인터 뷰 모션 벡터 예측과 변이 벡터 예측의 방법 및 장치
US10021367B2 (en) Method and apparatus of inter-view candidate derivation for three-dimensional video coding
US10264281B2 (en) Method and apparatus of inter-view candidate derivation in 3D video coding
EP2944087B1 (en) Method of disparity vector derivation in three-dimensional video coding
US20160309186A1 (en) Method of constrain disparity vector derivation in 3d video coding
US10230937B2 (en) Method of deriving default disparity vector in 3D and multiview video coding
US20150085932A1 (en) Method and apparatus of motion vector derivation for 3d video coding
US20160073132A1 (en) Method of Simplified View Synthesis Prediction in 3D Video Coding
US20150382019A1 (en) Method and Apparatus of View Synthesis Prediction in 3D Video Coding
WO2014053095A1 (en) Method and apparatus for inter-component motion prediction in three-dimensional video coding
US10477183B2 (en) Method and apparatus of camera parameter signaling in 3D video coding
WO2014166304A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
US9883205B2 (en) Method of inter-view residual prediction with reduced complexity in three-dimensional video coding
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
KR20150113713A (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200212

Year of fee payment: 4