KR101753171B1 - 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법 - Google Patents

3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법 Download PDF

Info

Publication number
KR101753171B1
KR101753171B1 KR1020157031585A KR20157031585A KR101753171B1 KR 101753171 B1 KR101753171 B1 KR 101753171B1 KR 1020157031585 A KR1020157031585 A KR 1020157031585A KR 20157031585 A KR20157031585 A KR 20157031585A KR 101753171 B1 KR101753171 B1 KR 101753171B1
Authority
KR
South Korea
Prior art keywords
vsp
current
data
view
spatial
Prior art date
Application number
KR1020157031585A
Other languages
English (en)
Other versions
KR20150139914A (ko
Inventor
나 장
위웬 첸
지안리앙 린
지청 안
카이 장
Original Assignee
미디어텍 싱가폴 피티이. 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 싱가폴 피티이. 엘티디. filed Critical 미디어텍 싱가폴 피티이. 엘티디.
Publication of KR20150139914A publication Critical patent/KR20150139914A/ko
Application granted granted Critical
Publication of KR101753171B1 publication Critical patent/KR101753171B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합 깊이 데이터 액세스를 사용하는 3차원 영상 인코딩 또는 디코딩 방법이 개시된다. 현재 텍스쳐 CU에 대응하는 참조 뷰에서의 참조 깊이 블록이 도출된 DV(변이 벡터)를 이용하여 인출된다. VSP 프로세스의 경우, 현재 CU 내의 현재 PU (예측 유닛)에 대한 제 1 VSP 데이터가 참조 깊이 블록에 기초하여 생성된다. VSP-기반 병합 후보 도출의 경우, VSP 공간적 머징 후보와 관련된 VSP-코딩된 공간적 인접 PU에 대한 제 2 VSP 데이터가 상기 참조 깊이 블록에 기초하여 생성된다. 본 발명은 또한, 컴퓨터 프로세서, 디지탈 신호 프로세서, 마이크로프로세서 혹은 필드 프로그래머블 게이트 어레이(FPGA)에 의해 수행될 다수의 기능들을 포함할 수 있다.

Description

3Ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법{METHOD OF SIMPLIFIED VIEW SYNTHESIS PREDICTION IN 3D VIDEO CODING}
관련 출원의 상호 참조
본 발명은 명칭이 “3D 비디오 코딩을 위한 간략화된 뷰 합성 예측” 인 2013년 7월 19일자로 출원된 PCT 특허 출원번호 PCT/CN2013/079668의 우선권을 주장하며, 이 PCT 출원은 그 전체가 참고로서 여기에 포함된다.
본 발명은 3차원 비디오 코딩에 관한 것이다. 특히, 본 발명은 3D 비디오 코딩에서 뷰 합성 예측(view synthesis prediction)과 관련된 깊이 데이터 엑세스에 관한 것이다.
3차원(3D) 텔레비전은 시청자에게 선풍적인 시청 경험을 갖게 해주는 최근 수년의 기술 동향이 되어왔다. 3D 시청을 가능하게 하는 다양한 기술들이 개발되어 왔다. 이들 중에서, 멀티-뷰(multi-view) 비디오는 다른 것들 중에서 특히 3D TV 애플리케이션을 위한 핵심 기술이다. 전통적인 비디오는 시청자들에게 카메라의 관점으로부터 장면의 단일 뷰 만을 제공하는 2차원(2D) 매체이다. 그러나, 이 멀티-뷰 비디오는 동적 장면들의 임의의 뷰포인트들을 제공할 수 있고, 시청자에게 리얼리즘의 감각을 제공한다.
멀티-뷰 비디오는 전형적으로 동시에 다수의 카메라를 사용하여 장면을 캡처하여 생성되며, 다수의 카메라들은 각각의 카메라가 하나의 뷰포인트에서 장면을 캡처하도록 적절하게 위치된다. 따라서, 다수의 카메라들은 다수의 뷰들에 대응하는 다수의 비디오 시퀸스들을 캡처하게 된다. 보다 많은 뷰를 제공하기 위해, 더 많은 카메라들이 뷰들과 관련된 다수의 비디오 시퀸스들과 함께 멀티-뷰 비디오를 발생하는데 사용되어왔다. 따라서, 멀티-뷰 비디오는 대용량의 저장 공간 및/또는 높은 전송 대역폭을 필요로 하게된다. 따라서, 멀티-뷰 비디오 코딩 기술들이 필요한 저장 공간이나 전송 대역폭을 감소시키기 위해 본 기술분야에서 개발되어왔다.
간단한 접근 방법은 기존의 비디오 코딩 기술들을 각각의 단일-뷰 비디오 시퀸스에 독립적으로 간단히 적용하고 서로 다른 여러 개의 뷰들 가운데서 어떤 상관 관계를 무시하는 것일 수 있다. 이러한 코딩 시스템은 매우 비 효율적이다. 멀티-뷰 비디오 코딩의 효율성을 향상시키기 위해, 멀티-뷰 비디오 코딩은 뷰 간 중복(inter-view redundancy)을 활용한다. 다양한 3D 코딩 툴이 개발되어 왔거나 기존의 비디오 코딩 표준을 확장하여 개발되고 있다. 예를 들어, H.264/AVC(고급 비디오 코딩)와 HEVC (고효율 비디오 코딩)를 멀티-뷰 비디오 코딩(MVC) 및 3D 코딩으로 확장하는 표준 개발 활동들이 있다.
3D-HEVC 및 3D-AVC를 위해 개발되었거나 개발되고 있는 다양한 3D 코딩 툴 들이 다음과 같이 리뷰된다.
인접 뷰들의 이전에 코딩된 텍스처 정보를 공유하기 위해, 변이 보상 예 측(DCP; Disparity-Compensated Prediction)로서 알려진 기술이, 모션 보상 예측(MCP; motion-compensated prediction)에 대안적인 코딩 툴로서 3D-HTM(고효율 비디오 코딩(HEVC; High Efficiency Video Coding)에 기초한 3차원 비디오 코딩을 위한 테스트 모델)에 포함되어 왔다. MCP는 동일한 뷰의 이전에 코딩된 픽쳐들을 사용하는 픽쳐간 예측을 지칭하는데 반해, DCP는 동일한 액세스 유닛에서의 다른 뷰들의 이전에 코딩된 픽쳐들을 사용하는 픽쳐간 예측을 지칭한다. 도 1은 MCP와 DCP를 통합한 3D 비디오 코딩 시스템의 예를 도시한 것이다. DCP에 사용되는 벡터(110)는 MCP에 사용되는 모션 벡터(MV; motion vector)와 유사한 변이 벡터(DV; disparity vector)로서 지칭된다. 도 1은 MCP와 관련된 3개의 MV(120, 130, 140)를 도시한다. 더욱이, DCP 블록의 DV는 또한 인접 블록으로부터 혹은 뷰간 참조 픽쳐들(inter-view reference pictures)을 또한 사용하는 시간적 병치 블록들(temporal collocated blocks)로부터 도출된 변이 벡터 예측기(DVP; disparity vector predictor) 후보에 의해 예측될 수 있다. 현재 3D-HTM에서, 병합/스킵(Merge/Skip) 모드들에 대한 뷰간 병합 후보들을 도출할 때 만일 대응 블록의 모션 정보를 사용할 수 없거나 유효하지 않은 경우, 뷰간 병합 후보는 DV로 대체된다.
뷰간 모션 예측(Inter-view motion prediction)은 참조 뷰들의 이전에 인코딩된 모션 정보를 공유하기 위해 사용된다. 종속 뷰(dependent view)에서의 현재 블록에 대한 후보 모션 파라미터들을 도출하기 위해, 현재 블록에 대한 DV가 먼저 도출되고, 참조 뷰에서의 이미 코딩된 픽쳐의 예측 블록이 현재 블록의 위치에 DV를 추가함으로써 위치된다. 만일 예측 블록이 MCP를 사용하여 코딩되는 경우, 관련 동작 파라미터들은 현재 뷰에서의 현재 블록에 대한 후보 모션 파라미터들로서 사용될 수 있다. 도출된 DV는 또한, DCP에 대한 후보 DV로서 직접 사용될 수 있다.
뷰간 잔여 예측(Inter-view residual prediction)은 3D-HTM에 사용되는 또 하나의 코딩 툴이다. 인접 뷰들의 이전에 코딩된 잔여 정보를 공유하기 위해, 현재 예측 블록(즉, PU)의 잔여 신호가 뷰간 픽쳐들에서의 대응 블록들의 잔여 신호들에 의해 예측될 수 있다. 대응 블록들은 각각의 DV에 의해 위치된다. 비디오 픽쳐들과 그리고 특정 카메라 위치에 대응하는 깊이 맵들은 뷰 식별자 (즉, V0, VI 및 V2)에 의해 표시된다. 같은 카메라 위치에 속하는 모든 비디오 픽쳐들 및 깊이 맵들은 동일 뷰ID (즉, 뷰 식별자)와 관련된다. 뷰 식별자들은 액세스 유닛 내에서 코딩 순서를 특정하고 오류가 발생하기 쉬운 환경에서 누락 뷰들을 검출하는데 사용된다. 액세스 유닛이 동일한 시간 인스턴트에 대응하는 모든 비디오 픽쳐들 및 깊이 맵들을 포함한다. 액세스 유닛 내에서, 비디오 픽쳐 및 (존재할 경우) 0과 동일한 뷰ID를 갖는 관련 깊이 맵이 먼저 코딩되고, 이어서 1과 동일한 뷰ID를 갖는 비디오 픽쳐 및 깊이 맵이 코딩된다. 0과 동일한 뷰ID를 갖는 뷰(즉, V0)는 기준 뷰 또는 독립 뷰로서 또한 지칭된다. 참조 뷰 비디오 픽쳐들은 다른 뷰들에 의존함이 없이 종래의 HEVC 비디오 코더를 이용하여 코딩될 수 있다.
현재 블록에 있어서, 모션 벡터 예측기(MVP)/변이 벡터 예측기(DVP)는 뷰간 픽쳐들의 뷰간 블록들로부터 도출될 수 있다. 이하에서, 뷰간 픽쳐들에서의 뷰간 블록들은 뷰간 블록들로 약칭된다. 도출 후보는 뷰간 MVP들 또는 DVP들일 수 있는 뷰간 후보들(inter-view candidates)로서 칭해진다. 다른 뷰들에서의 이전에 코딩된 모션 정보에 기초하여 현재 블록((예를 들어, 현재 예측 유닛, PU)의 모션 정보를 코딩하는 코딩 툴들은 뷰간 모션 파라미터 예측(inter-view motion parameter prediction)으로서 칭해진다. 더욱이, 이웃 뷰에서의 대응 블록은 뷰간 블록으로서 지칭되고, 이 뷰간 블록은 현재 픽쳐에서의 현재 블록의 깊이 정보로부터 도출된 변이 벡터를 이용하여 위치된다.
뷰 합성 예측( VSP ; View Synthesis Prediction)은 합성 신호가 현재 픽쳐를 예측하기 위한 참조로서 사용되는 여러 개의 뷰 포인트들로부터 비디오 신호중에 뷰간 중복성을 제거하는 기술이다. 3D-HEVC 테스트 모델 HTM-7.0에서, 이웃 블록 변이 벡터(NBDV; Neighboring Block Disparity Vector)로서 알려진 변이 벡터 예측기를 도출하는 프로세스가 존재한다. 그 후, 상기 도출된 변이 벡터는 참조 뷰의 깊이 이미지에서의 깊이 블록을 인출하는데 사용된다. 가상 깊이를 도출하는 절차는 VSP가 코딩 뷰에서 대응 블록 깊이를 찾는데 적용될 수 있다. 상기 인출된 깊이 블록은 현재 예측 유닛(PU)과 동일한 크기를 가질 수 있고, 이후 현재 PU에 대한 역방향 와핑(warping)을 수행하는 데 사용된다. 추가로, 와핑 동작은 2x2, 4x4, 8x4 또는 4x8 블록들과 같은 그러한 서브-PU 레벨에서 수행될 수 있다.
현재의 구현에서, VSP는 텍스쳐 컴포넌트 코딩에만 적용된다. 또한 VSP 예측은 VSP 예측의 사용을 시그널링 하기 위한 새로운 병합 후보로서 추가된다. 이러한 방식으로, VSP 블록은 코딩된 잔여 정보 또는 병합 블록 없는 스킵 블록일 수 있다. VSP-기반 병합 후보는 또한, 본 개시에서의 편의를 위해 VSP 병합 후보로서 지칭된다.
픽쳐가 B 픽쳐로서 코딩되고 그리고 현재 블록이 VSP 예측으로서 시그널링되는 경우, 다음 단계들이 VSP의 예측 방향을 결정하기 위해 적용된다:
- NBDV으로부터의 도출된 변이 벡터의 뷰 인덱스 refViewIdxNBDV를 얻는다;
- 참조 인덱스 RefPicListNBDV를 갖는 참조 픽쳐와 관련된 참조 픽쳐 리스트 RefPicListO (RefPicListO 또는 efPicList)를 얻는다;
- RefPicListNBDV 보다는 참조 픽쳐 리스트에서 refViewIdxNBDV와 같지 않은 뷰 인덱스 refViewIdx를 갖는 뷰간 참조 픽쳐의 유용성을 체크한다;
。만일 이러한 다른 뷰간 참조 픽쳐가 발견되면 양방향 VSP가 적용된다. 뷰 인덱스 refViewIdxNBDV으로부터의 깊이 블록은 (텍스쳐 우선의 코딩 순서의 경우에) 현재 블록의 깊이 정보로서 사용되고, (하나의 참조 픽쳐 리스트로부터 각각의) 2개의 서로 다른 뷰간 참조 픽쳐들은 역방향 와핑 프로세스를 통해 엑세스되고 최종 역방향 VSP 예측기를 달성하도록 가중화된다.
。그렇지않으면, 단방향 VSP는 방향 예측을 위한 참조 픽쳐 리스트로서 RefPicListNBDV와 함께 인가된다.
픽쳐가 P 픽쳐로서 코딩되고 현재 예측 블록이 VSP를 이용할 때, 단방향 VSP가 인가된다.
VSP는 모듈들 즉, 시간적 병합 후보 도출, 깊이 코딩을 위한 모션 파라미터 계승, 깊이 지향 이웃 블록 변이 벡터(DoNBDV; depth oriented neighboring block disparity vector), 적응 모션 벡터 예측(AMVP; adaptive motion vector prediction), 및 디블로킹 필터에 대한 일반적인 DCP 후보로서 이용된다. VSP 병합 후보의 도출은 세트의 어떤 공간적 주변 블록이 VSP 모드로 코딩되어 있는지 여부를 확인하기 위해 선택된 공간 이웃 세트에 속하는 공간적 이웃 블록들을 체크한다. 도 2에 도시된 바와 같이. 현재 블록(210)의 5개의 공간적 이웃 블록들(B0, BL, B2 AO 및 Al)은 VSP 병합 후보의 편차에 대한 세트에 속한다. 현재 블록은 코딩 유닛(CU) 또는 예측 유닛(PU)일 수 있다. 상기 세트에서 이웃 블록들 중에 블록들(B0, B1 및 A1)은 VSP 코딩된다. 현재 PU의 공간적 이웃이 VSP 코딩되는지를 추론하기 위해서는 이웃 블록에 대한 병합 후보 세트의 재구성이 필요로 된다. 이웃 블록의 병합 인덱스가 또한 요구되며 저장될 필요가 있다. 만일 현재 PU가 최대 코딩 유닛(LCU; largest coding unit) 혹은 코딩 트리 유닛(CTU; coding tree unit)의 상부 경계(220)에 인접하게 위치되는 경우 이웃 LCU 또는 CTU로부터 이웃 블록의 재구성이 도 2에 보인 바와 같이 요구될 것이다. 그러므로 상부 이웃 LCU 또는 CTU 행의 하부 경계에 있는 블록들과 관련된 병합 후보 세트를 저장하기 위해 라인 버퍼가 요구된다.
주목되는 사항으로서, 현재 디자인에서 병합 후보 리스트를 구성할 때 만일 현재 PU의 공간적 이웃이 VSP모드를 활용하는 경우 공간적 이웃의 NBDV 및 VSP 모드는 상기 공간적 이웃으로부터 계승된다. 그 후, 공간적 이웃의 NBDV는 도3a 내지 3c에 보인 바와 같이 현재 PU에 대한 VSP 프로세스를 수행하기 위한 참조뷰의 깊이 이미지에서 깊이 블록을 인출하기 위해 이용될 것이다.
도 3a는 DoNBDV에 기초한 현재 CU에 대한 깊이 데이터 엑세스를 도시한다. 블록(310)은 현재 뷰의 현재 픽쳐에서의 현재 CU이다. DoNBDV 프로세스는 정제된 DV를 도출하기 위해 NBDV에 의해 포인팅되는 뷰간 참조 픽쳐에서의 깊이 맵을 활용한다. 도 3a에 보인 바와같이 블록(310')은 현재 텍스쳐 CU(310)에 대응하는 병치된(collocated) 깊이 블록의 위치에 있다. 깊이 블록(320)은 위치(310') 및 NBDV프로세스에 따라 상기 도출된 DV(322)에 기초하여 위치된다.
도 3b는 VSP 병합 후보 편차에 대한 깊이 맵 엑세스의 예를 도시한다. 이 경우에서, 공간적 이웃이 NBDV 및 현재 PU에 대한 VSP 모드가 공간적 이웃으로부터 계승된다. 공간적 이웃의 NBDV는 현재 CU의 NBDV와 다를 수 있다. 그러므로 공간적 이웃의 NBDV는 현재 CU의 NBDV에 의해 포인팅되는 뷰간 참조의 여러 가지 깊이 블록을 포인팅한다. 예컨대, 공간적 이웃들의 NBDV들은 참조번호(332) 및 (342)로 표시되고 검색될 깊이 블록들은 도 3b의 좌측에 보인 바와 같이 참조번호(330) 및 (340)으로 표시된다. 그러므로, VSP 병합 후보를 도출하기 위해서는 추가적인 깊이 데이터가 엑세스되어야만 한다. 더욱이, 공간적 이웃의 NBDV는 도3b의 우측에 보인바와 같이 현재 CU의 NBDV에 의해 포인팅되는 뷰간 참조 픽쳐보다는 깊이 맵을 포인팅한다. 여기서, 도출된 DB(352)는 깊이 블록(350)을 포인팅한다.
도 3c는 VSP 병합 후보 편차에 대한 깊이 맵 엑세스의 또 다른 예를 도시한 것으로, 여기서 CU는 두 개의 PU(360a 및 360b)로 분할된다. PU(360a) 및 PU(360b)의 각각의 PU들의 DV들(372a 및 372b)는 서로 다를 수 있다. 또한, DV(372a 및 372b)는 현재 CU의 NBDV와 역시 다를 수 있다. 그러므로, DoNBDV와 다른 깊이 데이터는 현재 PU에 대한 VSP 병합 후보를 도출하는 것을 포함하는 VSP 프로세싱을 수행하기 위해 검색될 필요가 있다.
전술한 바와 같이, DV는 뷰간 모션 예측, 뷰간 잔여 예측, 변이 보상 예측(DCP), 역방향 뷰 합성 예측(BVSP; backward view synthesis prediction) 또는 뷰간 픽쳐들 간에 일치를 표시하는데 필요한 어떤 다른 툴들을 위한 3D 비디오 코딩에 있어서 중요하다. 3D-HEVC 버젼 7.0(HTM-7.0)의 현재 테스트 모델에 활용되는 DV 도출은 다음과 같이 설명된다.
현재의 3D-HEVC에서, 변이 보상 예측(DCP)에 이용되는 변이 벡터들(DVs)은 AMVP(진보된 모션 벡터 예측) 및 병합 동작들에 관해서 모션 벡터들(MVs)과 유사한 방식으로 명시적으로 전송되거나 암묵적으로 도출된다. 현재, DCP에 대한 DV를 제외하고는 다른 코딩 툴들에 이용되는 DV들은 하기에 설명되는 바와 같이 이웃 블록 변이 벡터(NBDV) 프로세스 혹은 깊이 지향 이웃 블록 변이(DoNBDV) 프로세스를 이용하여 도출된다.
현재 3D-HEVC에서, 변이 벡터는 인터모드에 대한 DVP후보로서 혹은 병합/스킵 모드에 대한 병합 후보로서 이용될 수 있다. 도출된 변이 벡터는 또한 뷰간 모션 예측 및 뷰간 잔여 예측을 위한 옵셋 벡터로서 이용될 수 있다. 옵셋 벡터로서 이용이 될 때, DV는 도4a 내지 4b에 보인 바와 같이 공간적 및 시간적 이웃블록들로부터 도출된다. 다수의 공간적 및 시간적 이웃 블록들이 결정이 되고 공간적 및 시간적 이웃 블록들의 DV 유용성이 소정의 순서에 따라 체크된다. 이웃(공간적 및 시간적) 블록들에 기초한 DV 도출을 위한 이러한 코딩 툴은 이웃 블록 DV ( NBDV ; Neighboring Block DV )로서 칭해진다. 도 4에 보인 바와 같이, 시간적 이웃 블록 세트가 먼저 조회된다. 시간적 병합 후보 세트는 시간적 참조 픽쳐에서 현재 블록의 중앙의 위치(즉,BCTR) 및 현재 블록의 하부 우측 코너로부터 대각인 위치(즉, RB)를 포함한다. 시간적 조회 순서는 RB로부터 시작해서 BCTR 로 진행된다. 블록이 DV를 갖는 것으로 식별이 되면 체킹 프로세스는 종료될 것이다. 공간적 이웃 블록 세트는 도 4b에 보인 바와 같이, 현재 블록의 하부 좌측 코너로부터 대각인 위치(즉, A0), 현재 블록의 좌측 바닥 측부 다음의 위치 (즉, A1), 현재 블록의 상부 좌측 코너로부터 대각인 위치(즉, B2), 현재 블록의 상부 우측 코너로부터 대각인 위치(즉, B0) 및 현재 블록의 상부 우측 옆의 위치(즉, B1)를 포함한다. 공간적 이웃 블록들에 대한 조회 순서는 (A1, B1, B0, A0, B2)이다.
만일, DCP 코딩된 블록이 이웃 블록 세트(즉, 도 4a 및 4b에 보인 공간적 및 시간적 이웃 블록)에서 발견되지 않으면 변이 정보가 DV-MCP라 일컬어지는 또 다른 코딩 툴로부터 얻어질 수 있다. 이 경우에, 도 5에 보인 바와 같이 공간적 이웃 블록이 MCP 코딩된 블록이고, 이것의 모션이 뷰간 모션 예측에 의해서 예측될 때, 뷰간 모션 예측에 이용되는 변이 벡터는 현재와 뷰간 참조 픽쳐 사이에 모션 일치를 나타낸다. 이러한 타입의 모션 벡터는 뷰간 예측되는 모션 벡터로 칭해지며 블록들은 DV - MCP 블록들로서 칭해진다. 도 5는 DV-MCP 블록에 예를 도시한 것으로서 여기서 DV-MCP 블록(510)의 모션 정보는 뷰간 참조 픽쳐에서 대응 블록(520)으로부터 예측된다. 대응 블록(520)의 위치는 변이 벡터(530)에 의해 특정된다. DV-MCP블록에서 사용되는 변이 벡터는 현재와 뷰간 참조 픽쳐 사이에 모션 일치를 나타낸다. 대응 블록(520)의 모션 정보는 현재 뷰에서의 현재 블록(510)의 모션 정보(512)를 예측하는데 사용된다.
MCP 블록이 DV-MCP 코딩되는지를 표시하고 뷰간 모션 파라미터 예측을 위한 변이 벡터를 저장하기 위해서 각 블록에 대한 모션 벡터 정보를 나타내기 위해서 다음의 두 개의 변수가 이용된다:.
-dvMcpFlag, 및
-dvMcpDisparity.
dvMcpFlag이 1과 같을 때, dvMcpDisparity는 변이 벡터가 뷰간 모션 파라미터 예측에 이용됨을 표시하도록 설정된다. AMVP 모드 및 병합 후보 리스트에 대한 구성 프로세스에서 상기 후보의 dvMcpFlag는 만일 상기 후보가 뷰간 모션 파라미터 예측에 의해서 생성되는 경우 1로 설정이 되고, 그렇지 않은 경우에는 0으로 설정된다. 만일, DPC코딩된 블록들이나 DV-MCP코딩된 블록들 어느 것도 전술한 공간적 및 시간적 이웃 블록들에서 발견되지 않는 경우 디폴트 변이 벡터로서 제로 벡터가 이용될 수 있다.
깊이 맵으로부터 보다 정확한 변이 벡터를 추출하여 NBDV를 향상시키는 방법이 현재의 3D-HEVC에서 사용된다. 동일한 액세스 유닛에서의 코딩된 깊이 맵으로부터의 깊이 블록이 먼저 검색되어 현재 블록의 가상 깊이로서 사용된다. 구체적으로, 상기 정제된 DV는 도 3에 보인 바와 같이 NBDV를 사용하여 도출된 DV에 의해 위치되는 가상 깊이 블록의 화소 서브세트의 최대 변이로부터 변환된다. DV 도출을 위한 이러한 코딩툴은 깊이-지향 NBDV (DoNBDV)로 불린다.
현재의 방식에서는, VSP 모드 및 공간적 이웃으로부터 계승되는 모션 정보로 인하여, 현재 PU에 대한 VSP 프로세스를 수행하기 위한 다수의 참조 뷰들에서의 다수의 깊이 블록들을 액세스할 필요가 있다. 또한, VSP 모드 플래그들은 현재 PU의 공간적 이웃을 VSP 코딩할지 여부를 결정하기 위해 라인 메모리에 저장될 필요가 있다. 따라서, 프로세스를 단순화하거나 필요한 저장 공간을 감소시킬 수 있는 VSP 프로세스를 위한 방법을 개발하는 것이 바람직하다.
VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합 깊이 데이터 액세스를 사용하는 3차원 비디오 인코딩 또는 디코딩 방법이 개시된다. 상기 코딩 툴이 VSP 프로세스 또는 VSP-기반 병합 후보에 대응하는 경우, 본 발명의 실시 예들은 참조 뷰에서의 동일한 참조 깊이 데이터를 인출한다. 현재 텍스처 CU에 대응하는 참조 뷰에서의 참조 깊이 블록이 도출된 DV (변이 벡터)를 이용하여 인출된다. VSP 프로세스에 있어서, 현재 CU내의 현재 PU(예측 유닛)에 대한 제 1 VSP 데이터가 참조 깊이 블록에 기초하여 생성된다. VSP-기반 병합 후보 도출에 있어서, VSP 공간적 병합 후보와 관련된 VSP-코딩된 공간적 이웃 PU에 대한 제 2 VSP 데이터가 참조 깊이 블록에 기초하여 또한 생성된다. 상기 현재 PU는 만일 VSP 모드가 사용되는 경우에는 제 1 VSP 데이터를 이용하거나, 혹은 만일 병합 모드가 사용되고 VSP 병합 후보가 선택되는 경우에는 제 2 VSP 데이터를 사용하여 인코딩 또는 디코딩된다.
상기 도출된 DV는 NBDV(이웃 블록 변이 벡터)를 사용하여 도출될 수 있는바, 현재 텍스처 CU의 이웃 블록들로부터 도출된 선택된 DV는 상기 도출된 DV로서 사용된다. 상기 도출된 DV는 DoNBDV (깊이 배향 NBDV)를 사용하여 도출될 수 있는 바, 상기 NBDV는 먼저 도출되고 상기 NBDV에 의해 포인팅되는 참조 뷰에서의 깊이 데이터는 변이 값으로 변환되어 상기 도출된 NV로서 사용된다.
현재 PU에 대응하는 뷰간 참조 픽쳐에서의 제 1 참조 텍스쳐 데이터는 참조 깊이 블록으로부터 변환된 변이에 따라 생성될 수 있다. 제 1 참조 텍스쳐 데이터는 제 1 VSP 데이터로서 사용된다. VSP-코딩된 공간적 이웃 PU에 대응하는 뷰간 참조 픽쳐에서의 제 2 참조 텍스쳐 데이터는 참조 깊이 블록으로부터 변환된 변이에 따라 생성될 수 있다. 이후, 제 2 참조 텍스쳐 데이터는 제 2 VSP 데이터로서 사용된다. 제 1 참조 텍스쳐 데이터 및 제 2 참조 텍스쳐 데이터는 또한, 일부 실시 예들에서 동일할 수 있다.
다수의 VSP 공간 병합 후보들에 있어서, 이 후보들은 중복 검사를 위해 체크되고, 다른 VSP 병합 후보와 동일한 그 어떠한 중복 VSP 병합 후보도 병합 후보 목록에서 제거된다. 상기 검사는 VSP 공간 병합 후보의 부분 세트 혹은 전체 세트에 기초할 수 있다.
도 1은 모션-보상 예측(MCP)에 대한 대안으로서 변이-보상 예측 (DCP)를 합체한 3차원 영상 코딩의 예를 도시한다.
도 2는 VSP 병합 후보의 도출을 위한 세트에 속하는 현재 블록의 공간적 이웃 블록의 예를 도시한다.
도 3a는 DoNBDV (깊이-지향 이웃 블록 변이 벡터)에 기초한 현재 CU (코딩 유닛)에 대한 깊이 데이터 액세스의 예를 도시한다.
도 3b는 VSP 병합 후보 도출을 위한 깊이 맵 액세스의 다른 예를 도시한 한 것으로서, 여기서 공간적 이웃의 NBDV(이웃 블록 변이 벡터) 및 VSP 모드는 상기 공간적 이웃으로부터 계승된다.
도 3c는 VSP 병합 후보 도출을 위한 깊이 맵 액세스의 또 다른 예를 도시한 한 것으로서, 여기서 CU(코딩 유닛)은 2개의 PU로 분할되고, 2개의 PU의 각각의 이웃 PU(예측 유닛)의 DV들(변이 벡터들)은 서로 다르다.
도 4a-4b는 상기 현재 블록에 대한 변이 벡터를 도출하기 위한 현재 블록의 시간적 이웃 블록과 공간적 이웃 블록을 각각 도시한다.
도 5는 모션-보상 예측(MCP-DV) 블록으로부터의 변이 편차의 예를 도시한 것으로서, 여기서 상기 대응하는 블록들의 위치는 변이 벡터에 의해 특정된다.
도 6은 본 발명의 실시 예에 따른 VSP (뷰 합성 예측)에 의해 액세스 되는 제한된 깊이 데이터의 예를 도시한다.
도 7은 본 발명의 실시 예에 따른 제한된 VSP 정보 계승의 예를 도시한 것으로서, 여기서, VSP로 코딩된 공간적 이웃은 만일 VSP-코딩된 공간적 이웃이 LCU 경계와 교차하는 경우, 공간적 병합 후보 도출을 위한 공통 DCP 후보로 지칭된다.
도 8은 본 발명의 일 실시 예에 따른 VSP(뷰 합성 예측)와 관련된 제한된 깊이 데이터 액세스를 사용하는 3차원 영상 인코딩 및 디코딩의 예시적인 흐름도를 도시한다.
전술한 바와 같이, 종래의 3D-HEVC (HEVC (고효율 비디오 코딩)에 기초한 3 차원 코딩)에 따른 공간적 이웃으로부터 계승되는 VSP 모드 및 모션 정보로 인하여, 현재 PU에 대한 VSP 프로세스를 수행하기 위한 다수의 참조 뷰들에서 다수의 깊이 블록들을 액세스할 필요가 있다. 또한, VSP 모드 플래그들은 현재 PU의 공간적 이웃이 VSP 코딩되는지를 결정하기 위해 라인 메모리에 저장될 필요가 있다. 따라서, 본 발명의 실시 예들은 VSP 프로세스를 단순화한다.
본 발명의 제 1 실시 예에서, VSP 모드 계승의 경우, 만일 선택된 공간 후보가 VSP-코딩된 공간적 이웃 블록으로부터 도출되는 경우, 현재 PU는 VSP 모드로서 코딩될 것이다 (즉, 이웃 블록으로부터 VSP 모드를 계승). 그러나, 이웃 블록의 NBDV는 계승되지 않을 것이다. 대신에, 현재 CU에 대한, NBDV에 의해 도출되는 DV가, 현재 CU의 모든 PU들에 대한 참조 뷰에서의 깊이 블록을 인출하는데 사용된다. 주목할 사항으로, 현재 3D-HEVC에서, CU 레벨 NBDV는 동일한 CU 내의 모든 PU들에 대한 DV를 도출하는데 사용된다. 제 1 실시 예에 따르면, VSP 모드 계승은 또한, 현재 PU를 위한 NBDV를 사용하여 동일한 도출된 DV를 사용한다. 따라서, 동일한 깊이 데이터는 DoBNDV를 사용하거나 VSP 프로세스 계승을 사용하여 VSP에 대한 액세스들일 것이다.
본 발명의 제 2 실시 예에서, VSP 모드 계승에 있어서, 만일 선택된 공간 후보가 VSP-코딩된 공간적 이웃 블록으로부터 도출되는 경우, 현재 PU는 VSP 모드로서 코딩되게 된다(즉, 이웃 PU의 VSP 모드를 계승). 그러나, 이웃 블록의 NBDV는 계승되지 않게 된다. 대신에, 현재 CU에 대한 NBDV에 의해 도출된 DV는 참조 뷰에서의 깊이 블록을 인출하는 데 사용될 것이다. 병합 후보 목록에 여러 개의 동일한 VSP 후보가 있을 수 있다. 제 2 실시 예에 따른 방법은, 공간 이웃들의 모션 정보 사이의 비교와 유사한 공간적 병합 후보들의 VSP 모드에 대한 부분 체킹을 수행할 것이다. 예를 들면, B1이 공간적 VSP 병합 후보일 때 만일 B0이 또한 VSP 코딩되면, B0는 병합 후보 목록에 추가되지 않을 것이다. 이러한 쌍 비교는 B0-> B1로서 표시된다. B1->A1, A0->A1, B2->A1 및 B2-B1과 같은 그러한 다른 비교들이 또한 사용될 수 있다.
본 발명의 제 3 실시 예에서, VSP 모드 계승에 있어서, 만일 선택된 공간 후보가 VSP 모드로서 코딩된 공간적 이웃 블록으로부터 도출되는 경우. 그러나, 이웃 블록의 NBDV는 계승되지 않게 된다. 대신에, 현재 CU에 대해 NBDV에 의해 도출된 DV는 참조 뷰에서의 깊이 블록을 인출하는 데 사용된다. 병합 후보 목록에 여러 개의 동일한 VSP 후보들이 있을 수 있다. 제 3 실시 예에 따른 방법은 공간적 병합 후보들의 VSP 모드에 대한 전체 체킹을 수행한다. 예를 들어, 병합 후보 리스트에 공간적 VSP 병합 후보를 추가하기 전에, VSP-코딩된 공간적 병합 후보 또는 VSP 병합 후보가 병합 후보리스트에 이미 존재하는지를 결정하기 위해 체킹이 수행되게 된다. 만일 VSP-코딩된 공간 후보 또는 VSP 병합 후보가 존재하면, 공간적 VSP 병합 후보는 추가되지 않을 것인바, 이는 병합 후보 리스트에는 최소한 하나의 VSP 후보가 있게 됨을 보장한다.
상기 모든 실시 예들은 VSP 병합 후보로 하여금, 참조 뷰에서의 깊이 블록을 인출하기 위해 이웃 블록으로부터 DV를 사용하는 대신, 현재 CU의 도출된 NBDV를 사용할 수 있게 한다. VSP에 의해 액세스 되는 깊이 데이터에 대한 제약이 도 6에 도시된다. CU/PU(630)는 종속 뷰 (뷰 1, 610)의 현재 텍스쳐 픽쳐(T1)에 있다. 도출된 DV(642)는 NBDV 또는 DoNBDV(642)에 의해 포인팅되는 참조 깊이 맵 (620)에서의 깊이 블록(640)을 액세스하기 위해 현재 CU/PU(630)에 대한 NBDV DoNBDV을 사용하여 결정된다. 다른 한편으로, VSP 병합 후보 도출은 참조 깊이 맵(620)에서의 깊이 블록들(670A 및 670b)을 액세스하기 위해 현재 PU(660a 및 660b)의 이웃 블록들의 도출된 DV들(672a 및 672b)를 사용할 수도 있다. 본 발명에 따른 실시 예들은 VSP 병합 후보가 현재 CU/PU에 대해 선택되는 경우 주변 블록들로부터 도출된 DV의 사용을 허용하지 않는다. 대신에, 본 발명에 따른 실시 예들은 VSP 병합 후보가 선택되는 경우 주변 블록으로부터 DV를 상속하는 대신에 현재 CU에 대해 도출된 DV를 사용한다.
제 4 실시 예에서, VSP 모드는 LCU 행 경계 위의 이웃 블록들로부터 도출되는 공간적 병합 후보의 DV 및 VSP 모드를 계승하는 것이 금지된다. LCU 행 경계 위의 이웃 블록이 VSP 모드에서 코딩되고 그리고 공간 병합 후보가 이 인접 블록으로부터 도출될 때, 이 공간 병합 후보는 VSP 코딩된 블록을 위해 저장된 DV들 및 참조 인덱스를 갖는 공통 DCP 후보로 취급될 것이다. 도 7은 2개의 공간적 이웃 블록(710, 720)이 VSP 모드에서 코딩되는 예를 도시한다. 종래 방식에서, 현재 CU의 LCU 행 경계 위의 2개의 이웃 블록이 도 2의 예에서 보인 바와 같은 VSP 모드를 사용하여 코딩되는 경우, 이들 2개의 블록에 대한 DV 및 VSP 모드 플래그는 현재 블록에 대한 VSP 병합 후보를 도출하기 위해 저장되어야 한다. 그러나, 도 7에 도시된 바와 같은 제 4 실시 예의 예는 이들 2개의 VSP-코딩된 블록들에 대해 공통의 DCP를 사용한다. 그러므로, DV와 그리고 LCU 행 경계 위의 인접 블록과 관련된 VSP 플래그들을 저장할 필요가 없다. 다시 말해서, 본 발명의 제 4 실시 예는 DV와 그리고 LCU 행 경계 위의 인접 블록과 관련된 VSP 플래그들에 필요한 라인 버퍼를 절감할 수 있다.
본 발명의 실시 예들은 VSP 병합 후보를 도출하기 위해 참조 뷰에서 깊이 데이터를 찾도록 VSP에 의해 사용된 DoNBDV를 사용하도록 VSP 병합 후보를 강제한다. 이러한 제약은, VSP 프로세스 및 VSP-기반 병합 후보 도출 대한 깊이 액세스가 통합되기 때문에 깊이 데이터 액세스의 양을 감소시키는 이점을 제공한다. 그럼에도 불구하고, 이러한 제약은 시스템의 성능 저하를 야기할 수 있다. 본 발명의 실시 예에 따른 통합 VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합 깊이 데이터 액세스를 포함하는 시스템이 표 1에 나타낸 바와 같이 종래의 시스템(3D-HEVC 테스트 모델 버전 8.0 (HTM 8.0))과 비교된다. 성능 비교는 제 1 열에 나열된 테스트 데이터의 여러 가지 세트들에 기초한다. BD-레이트 측정은 비디오 코딩 시스템 분야에서 잘 알려진 성능 측정이다. 뷰 1(비디오 1) 및 뷰 2(비디오 2)에서의 텍스처 픽쳐에 대해 BD-레이트 차이가 보여진다. BD-레이트에서의 음의 값은 본 발명이 우수한 성능을 가짐을 의미한다. 표 1에 나타낸 바와 같이, 본 발명의 실시 예들을 통합하는 시스템은 뷰 1 및 뷰 2에 대해 작은 BD-레이트 증가를 보여준다(각각, 0.3%와 2.0%). 비디오 비트 레이트를 갖는 코딩된 비디오 PSNR, 총 비트 레이트(텍스쳐 비트 레이트 및 깊이 비트 레이트)를 갖는 코딩된 비디오 PSNR 및 총 비트 레이트를 갖는 합성 비디오 PSNR에 대한 BD-레이트 측정은 매우 작은 BD-레이트 증가 혹은 증가 없음을 보여준다(각각, 0.1%, 0.1% 및 0%). 인코딩 시간, 디코딩 시간 및 렌더링 시간은 종래의 시스템과 거의 동일하다. .
Figure 112015106921795-pct00001
Figure 112015106921795-pct00002
표 2에 보인 바와 같이 HTM-8.0에 기초한 수정된 시스템과 종래의 시스템에 대해 또 다른 비교가 수행된다. 수정된 시스템은 HTM-8.0을 기초한다. 그러나, 수정된 시스템은 만일 VSP-코딩된 공간적 이웃 블록이 현재 LCU 행의 경계 위에 있는 경우 NBDV 및 VSP 모드 계승을 허용하지 않는다. 수정된 시스템은 뷰 1 및 뷰 2에 대해 작은 BD-레이트 증가를 보여준다(각각, 0.3%와 2.0%). 비디오 비트 레이트를 갖는 코딩된 비디오 PSNR, 총 비트 레이트 (텍스쳐 비트 레이트 및 깊이 비트 레이트)를 갖는 코딩된 비디오 PSNR 및 총 비트 레이트를 갖는 합성 비디오 PSNR에 대한 BD-레이트 측정은 또한 증가 없음을 보여준다. 인코딩 시간, 디코딩 시간 및 렌더링 시간은 종래의 시스템과 거의 동일하다.
Figure 112015106921795-pct00003
통합 VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합 깊이 데이터 액세스를 포함하는 또 다른 실시 예가 표 3에 보인 바와 같은 HTM-8.0에 기초하여 종래의 시스템과 비교된다. 이 비교에서, 본 발명에 따른 통합 깊이 데이터 액세스 방법은 만일 VSP-코딩된 공간적 이웃 블록이 현재 LCU 행의 경계를 초과하는 경우, NBDV 및 VSP 모드 상속을 허용하지 않는다. 본 발명의 실시 예들을 통합하는 시스템은 뷰 1 및 뷰 2에 대해 작은 BD-레이트 증가를 보여준다(각각, 0.3 % 및 2.0 %). 비디오 비트 레이트를 갖는 코딩된 비디오 PSNR, 총 비트 레이트 (텍스쳐 비트 레이트 및 깊이 비트 레이트)를 갖는 코딩된 비디오 PSNR 및 총 비트 레이트를 갖는 합성 비디오 PSNR에 대한 BD-레이트 측정은 매우 작은 BD-레이트 증가 혹은 증가 없음을 보여준다(각각, 0.1 %, 0%와 0%). 인코딩 시간, 디코딩 시간 및 렌더링 시간은 종래의 시스템과 거의 동일하다.
Figure 112015106921795-pct00004
도 8은 VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합 깊이 데이터 액세스를 사용하는 3차원 또는 멀티-뷰 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 도시한다. 시스템은 단계(810)에 보인 바와 같은 종속 뷰에서 현재 텍스처 CU(코딩 유닛)과 관련된 입력 데이터를 수신한다. 입력 데이터는 언-코딩된 또는 코딩된 텍스쳐 데이터에 대응할 수 있다. 입력 데이터는 컴퓨터 메모리 버퍼 (RAM 또는 DRAM) 또는 다른 매체 등의 저장장치로부터 검색될 수 있다. 비디오 비트 스트림은 또한, 컨트롤러, 중앙 처리 유닛, 디지털 신호 프로세서 또는 입력 데이터를 생성하는 전자 회로 등의 프로세서로부터 수신될 수 있다. 현재 텍스쳐 CU에 대응하는 참조 뷰에서의 참조 깊이 블록은 단계(820)에 보인 바와 같이 도출된 DV (변이 벡터)를 이용하여 인출된다. 현재 CU내의 현재 PU(예측 유닛)에 대한 제 1 VSP 데이터는 단계(830)에 보인 바와 같은 참조 깊이 블록에 기초하여 생성된다. 상기 하나 이상의 VSP 공간적 합병 후보들과 관련된 하나 이상의 VSP-코딩 공간적 이웃의 PU들에 대한 제 2 VSP 데이터가 단계(840)에 보인 바와 같이 참조 블록 깊이에 기초하여 생성된다. 그 후, 현재 PU는 만일 VSP 모드가 사용되는 경우 제 1 VSP 데이터를 이용하여 인코딩 또는 디코딩되며, 만일 병합 모드가 단계(850)에서 보인 바와 같이 선택된 VSP 병합 후보로 사용되는 경우 현재 PU는 제 2 VSP 데이터로서 인코딩 및 디코딩된다.
상기 도시된 흐름도는 VSP 프로세스 및 VSP-기반 병합 후보 도출을 위한 통합된 깊이 데이터 액세스의 예들을 예시하도록 의도된 것이다. 당업자이면, 본 발명의 사상을 벗어남이 없이 본 발명을 실시하기 위해 각 단계를 수정하거나, 각 단계들을 재배열하거나 단계들을 결합할 수 있다.
상기 상세한 설명은 당업자로 하여금 특정 응용 및 그 요건의 맥락에서 제공된 바와 같이 본 발명을 실시할 수 있도록 제시된다. 여기에 기재된 실시 예들에 대한 다양한 변형들이 당업자에게 명백할 것이며, 여기에 정의된 일반적인 원리는 다른 실시 예들에도 적용될 수 있다. 따라서, 본 발명은 도시 및 설명된 특정 실시 예들에 한정되도록 의도된 것이 아니라, 여기에 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위가 부여되어야 할 것이다. 전술한 상세한 설명에서, 다양한 특정 세부 사항들이 본 발명의 완전한 이해를 제공하도록 예시된다. 그럼에도 불구하고, 본 발명이 실시될 수 있음을 당업자는 이해할 것이다.
전술한 바와 같은 본 발명의 실시 예는 다양한 하드웨어, 소프트웨어 코드들, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예는 여기에 설명된 프로세싱을 수행하도록 비디오 압축 소프트웨어에 통합된 비디오 압축 칩 또는 프로그램 코드에 통합되는 집적 회로일 수 있다. 본 발명의 실시 예는 또한 여기에 기술된 프로세싱을 수행하도록 디지털 신호 프로세서(DSP)에서 실행될 프로그램 코드일 수 있다. 또한, 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로 프로세서 또는 필드 프로그래머블 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 포함할 수 있다. 이들 프로세서들은 컴퓨터 판독 가능 소프트웨어 코드 또는 본 발명에 의해 구현되는 특정 방법들을 정의하는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 여러 가지 프로그래밍 언어와 여러 가지 포맷들 또는 스타일들로 개발될 수 있다. 소프트웨어 코드는 또한 여러 가지 타겟 플랫폼들을 위해 컴파일될 수 있다. 그러나, 본 발명에 따른 태스크들을 수행하기 위한 여러 가지 다른 코드 포맷들, 스타일들, 소프트웨어 코드들의 언어들 코드를 수행하기 위한 다른 수단들은 본 발명의 사상 및 범위를 벗어나지 않을 것이다.
본 발명은 사상 또는 본질적 특성을 벗어남이 없이 다른 특정 형태들로 구현될 수 있다. 여기에 기재된 예들은 모든 면에서 단지 예시적인 것일 뿐 제한적인 것이 아님이 고려되어야 할 것이다. 그러므로, 본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허 청구 범위에 의해 정의된다. 특허 청구 범위의 의미 및 균등 범위 내에 있는 모든 변경들도 본 발명의 범위 내에 포괄되어야 할 것이다.

Claims (22)

  1. 3차원 또는 멀티-뷰(multi-view) 비디오 인코딩 또는 디코딩 시스템을 위한 비디오 코딩 방법에 있어서, 상기 3차원 또는 멀티-뷰 비디오 인코딩 또는 디코딩 시스템은, 뷰 합성 예측(VSP; view synthesis prediction) 모드 및 하나 이상의 VSP 공간적 병합 후보들을 포함하는 병합 후보 리스트를 갖는 병합(Merge) 모드를 포함하는 코딩 툴을 활용하며, 상기 방법은,
    종속 뷰(dependent view)에서 현재 텍스쳐 코딩 유닛(CU; coding unit)과 관련된 입력 데이터를 수신하는 단계와;
    도출된 변이 벡터(DV; disparity vector)를 이용하여 상기 현재 텍스쳐 CU에 대응하는 참조 뷰(reference view)에서 참조 깊이 블록을 인출(fetching)하는 단계와;
    상기 참조 깊이 블록에 기초하여 상기 현재 CU 내의 현재 예측 유닛(PU; prediction unit)에 대한 제 1 VSP 데이터를 발생하는 단계와;
    상기 참조 깊이 블록에 기초하여 상기 하나 이상의 VSP 공간적 병합 후보들과 관련된 하나 이상의 VSP 코딩된 공간적 이웃 PU들에 대한 제 2 VSP 데이터를 발생하는 단계와;
    상기 VSP 모드가 이용되는 경우 상기 제 1 VSP 데이터를 이용하여 상기 현재 PU를 인코딩 또는 디코딩하거나, VSP 병합 후보가 선택되며 상기 병합 모드가 이용되는 경우 상기 현재 PU를 상기 제 2 VSP 데이터로서 인코딩 또는 디코딩하는 단계
    를 포함하는 비디오 코딩 방법.
  2. 제 1항에 있어서,
    상기 도출된 DV는 상기 현재 텍스쳐 CU의 하나 이상의 이웃 블록들로부터 도출된 선택된 DV에 대응하는 것인 비디오 코딩 방법.
  3. 제 1항에 있어서,
    상기 현재 텍스쳐 CU의 하나 이상의 이웃 블록들로부터 선택된 DV가 도출되고, 상기 도출된 DV는 상기 선택된 DV에 의해 포인팅되는 참조 뷰에서의 선택된 깊이 데이터를 상기 도출된 DV로 변환함으로써 도출되는 것인 비디오 코딩 방법.
  4. 제 1항에 있어서,
    상기 현재 PU에 대한 제 1 VSP 데이터를 발생하는 단계는, 상기 참조 깊이 블록으로부터 변환된 변이(disparity)에 따라 상기 현재 PU에 대응하는 뷰간(inter-view) 참조 픽쳐에서의 제1 참조 텍스쳐 데이터를 도출하는 단계와, 상기 제 1 참조 텍스쳐 데이터를 상기 제 1 VSP 데이터로서 이용하는 단계를 포함하는 것인 비디오 코딩 방법.
  5. 제 1항에 있어서,
    상기 VSP 코딩된 공간적 이웃 PU들에 대한 제 2 VSP 데이터를 발생하는 단계는, 상기 참조 깊이 블록으로부터 변환된 변이에 따라 상기 현재 PU에 대응하는 뷰간 참조 픽쳐에서의 제 2 참조 텍스쳐 데이터를 도출하는 단계와, 상기 제 2 참조 텍스쳐 데이터를 상기 제 2 VSP 데이터로서 이용하는 단계를 포함하는 것인 비디오 코딩 방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 하나 이상의 VSP 공간적 병합 후보들의 부분 세트가 중복(redundancy)에 대해서 체크되고, 또 다른 VSP 병합 후보와 동일한 임의의 중복 VSP 병합 후보가 상기 병합 후보 리스트로부터 제거되는 것인 비디오 코딩 방법.
  8. 제 1항에 있어서,
    상기 하나 이상의 VSP 공간적 병합 후보들의 전체 세트가 중복에 대해서 체크되고, 또 다른 VSP 병합 후보와 동일한 임의의 중복 VSP 병합 후보가 상기 병합 후보 리스트로부터 제거되는 것인 비디오 코딩 방법.
  9. 제 1항에 있어서,
    하나의 VSP 공간적 병합 후보가 상기 현재 텍스쳐 CU를 내포하는 현재 최대 코딩 유닛(LCU; largest coding unit) 행의 경계 위에 위치되는 경우, 상기 하나의 VSP 공간적 병합 후보는 하나의 VSP 공간적 병합 후보가 되는 것으로부터 배제되는 것인 비디오 코딩 방법.
  10. 제 9항에 있어서,
    상기 현재 LCU 행의 경계 위에 있는 상기 하나의 VSP 공간적 병합 후보는, VSP 코딩된 블록에 대해 저장된 관련 DV 및 참조 인덱스를 이용하여 공통 DCP 후보로서 취급되는 것인 비디오 코딩 방법.
  11. 제 1항에 있어서,
    하나의 VSP 공간적 병합 후보가 상기 현재 텍스쳐 CU를 내포하는 현재 LCU 외부에 위치되는 경우, 상기 하나의 VSP 공간적 병합 후보는 하나의 VSP 공간적 병합 후보가 되는 것으로부터 배제되는 것인 비디오 코딩 방법.
  12. 제 11항에 있어서,
    상기 현재 LCU 외부에 있는 상기 하나의 VSP 공간적 병합 후보는, VSP 코딩된 블록에 대해 저장된 관련 DV 및 참조 인덱스를 이용하여 공통 DCP 후보로서 취급되는 것인 비디오 코딩 방법.
  13. 3차원 또는 멀티-뷰 비디오 인코딩 또는 디코딩 시스템에서의 비디오 코딩을 위한 장치에 있어서, 상기 3차원 또는 멀티-뷰 비디오 인코딩 또는 디코딩 시스템은, 뷰 합성 예측(VSP) 모드 및 하나 이상의 VSP 공간적 병합 후보들을 포함하는 병합 후보 리스트를 갖는 병합 모드를 포함하는 코딩 툴을 활용하며, 상기 장치는,
    종속 뷰에서 현재 텍스쳐 코딩 유닛(CU)과 관련된 입력 데이터를 수신하고;
    도출된 변이 벡터(DV)를 이용하여 상기 현재 텍스쳐 CU에 대응하는 참조 뷰에서 참조 깊이 블록을 인출하고;
    상기 참조 깊이 블록에 기초하여 상기 현재 CU 내의 현재 예측 유닛(PU)에 대한 제 1 VSP 데이터를 발생하고;
    상기 참조 깊이 블록에 기초하여 상기 하나 이상의 VSP 공간적 병합 후보들과 관련된 하나 이상의 VSP 코딩된 공간적 이웃 PU들에 대한 제 2 VSP 데이터를 발생하고;
    상기 VSP 모드가 이용되는 경우 상기 제 1 VSP 데이터를 이용하여 상기 현재 PU를 인코딩 또는 디코딩하거나, VSP 병합 후보가 선택되며 상기 병합 모드가 이용되는 경우 상기 현재 PU를 상기 제 2 VSP 데이터로서 인코딩 또는 디코딩하도록
    구성된 하나 이상의 전자 회로를 포함하는 것인 비디오 코딩 장치.
  14. 제 13항에 있어서,
    상기 도출된 DV는 상기 현재 텍스쳐 CU의 하나 이상의 이웃 블록들로부터 도출된 선택된 DV에 대응하는 것인 비디오 코딩 장치.
  15. 제 13항에 있어서,
    상기 현재 텍스쳐 CU의 하나 이상의 이웃 블록들로부터 선택된 DV가 도출되고, 상기 도출된 DV는 상기 선택된 DV에 의해 포인팅 되는 참조 뷰에서의 선택된 깊이 데이터를 상기 도출된 DV로 변환함으로써 도출되는 것인 비디오 코딩 장치.
  16. 제 13항에 있어서,
    상기 현재 PU에 대한 제 1 VSP 데이터를 발생하는 것은, 상기 제 1 VSP 데이터를 발생하도록 상기 참조 깊이 블록으로부터 변환된 변이에 따라 상기 현재 PU에 대응하는 뷰간 참조 픽쳐에서의 제1 참조 텍스쳐 데이터를 도출하는 것인 비디오 코딩 장치.
  17. 제 13항에 있어서,
    상기 VSP 코딩된 공간적 이웃 PU들에 대한 제 2 VSP 데이터를 발생하는 것은, 상기 제 2 VSP 데이터를 발생하도록 상기 참조 깊이 블록으로부터 변환된 변이에 따라 상기 현재 PU에 대응하는 뷰간 참조 픽쳐에서의 제 2 참조 텍스쳐 데이터를 도출하는 것인 비디오 코딩 장치.
  18. 삭제
  19. 제 13항에 있어서,
    상기 하나 이상의 VSP 공간적 병합 후보들의 부분 세트가 중복에 대해서 체크되고, 또 다른 VSP 병합 후보와 동일한 임의의 중복 VSP 병합 후보가 상기 병합 후보 리스트로부터 제거되는 것인 비디오 코딩 장치.
  20. 제 13항에 있어서,
    상기 하나 이상의 VSP 공간적 병합 후보들의 전체 세트가 중복에 대해서 체크되고, 또 다른 VSP 병합 후보와 동일한 임의의 중복 VSP 병합 후보가 상기 병합 후보 리스트로부터 제거되는 것인 비디오 코딩 장치.
  21. 제 13항에 있어서,
    하나의 VSP 공간적 병합 후보가 상기 현재 텍스쳐 CU를 내포하는 현재 LCU 행의 경계 위에 위치되거나 현재 LCU 외부에 위치되는 경우, 상기 하나의 VSP 공간적 병합 후보는 하나의 VSP 공간적 병합 후보가 되는 것으로부터 배제되는 것인 비디오 코딩 장치.
  22. 제 21항에 있어서,
    상기 현재 LCU 행의 경계 위 또는 상기 현재 LCU 외부의 상기 하나의 VSP 공간적 병합 후보는, VSP-코딩된 블록들에 대해 저장된 관련 DV 및 참조 인덱스를 사용하여 공통 DCP 후보로서 취급되는 것인 비디오 코딩 장치.
KR1020157031585A 2013-07-19 2014-07-18 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법 KR101753171B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2013/079668 2013-07-19
PCT/CN2013/079668 WO2015006967A1 (en) 2013-07-19 2013-07-19 Simplified view synthesis prediction for 3d video coding
PCT/CN2014/082528 WO2015007238A1 (en) 2013-07-19 2014-07-18 Method of simplified view synthesis prediction in 3d video coding

Publications (2)

Publication Number Publication Date
KR20150139914A KR20150139914A (ko) 2015-12-14
KR101753171B1 true KR101753171B1 (ko) 2017-07-04

Family

ID=52345725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031585A KR101753171B1 (ko) 2013-07-19 2014-07-18 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법

Country Status (4)

Country Link
US (1) US20160073132A1 (ko)
EP (1) EP2965521A4 (ko)
KR (1) KR101753171B1 (ko)
WO (2) WO2015006967A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704819B (zh) * 2012-10-03 2016-12-21 联发科技股份有限公司 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
US10321145B2 (en) * 2014-10-07 2019-06-11 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by means of view merging prediction
CN104506871B (zh) * 2014-11-23 2017-06-06 北京工业大学 一种基于hevc的3d视频快速编码方法
US10075692B2 (en) * 2015-01-28 2018-09-11 Hfi Innovation Inc. Method of simple intra mode for video coding
CN104768019B (zh) * 2015-04-01 2017-08-11 北京工业大学 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN117336511A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码方法、图像解码方法、发送方法和数字存储介质
WO2019078686A1 (ko) * 2017-10-20 2019-04-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
EP3579561A1 (en) 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
CN113853792A (zh) 2019-05-11 2021-12-28 北京字节跳动网络技术有限公司 带有参考图片重采样的编解码工具
EP3984227A4 (en) 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
EP4029245A4 (en) 2019-10-12 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH LEVEL SYNTAX FOR VIDEO CODING TOOLS

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR20140011481A (ko) * 2011-06-15 2014-01-28 미디어텍 인크. 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
CA2846425A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN102413332B (zh) * 2011-12-01 2013-07-24 武汉大学 基于时域增强的视点合成预测多视点视频编码方法
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yi-Wen Chen ET AL., Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCT3V-D0105, 20-26 Apr. 2013*

Also Published As

Publication number Publication date
US20160073132A1 (en) 2016-03-10
WO2015006967A1 (en) 2015-01-22
EP2965521A1 (en) 2016-01-13
KR20150139914A (ko) 2015-12-14
WO2015007238A1 (en) 2015-01-22
EP2965521A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101638752B1 (ko) 3ｄ 비디오 코딩에서 변이 벡터 도출을 제한하는 방법
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
US9736498B2 (en) Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
KR101861497B1 (ko) 3ｄ 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
WO2014108014A1 (en) Method and apparatus of disparity vector derivation in three-dimensional video coding
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
JP2015525997A (ja) ３ｄビデオ符号化におけるビュー間候補導出の方法と装置
JP2016506195A (ja) ３次元ビデオ符号化の深度から視差ベクトルを導出する方法および装置
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant