KR20160003334A - 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 - Google Patents

3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 Download PDF

Info

Publication number
KR20160003334A
KR20160003334A KR1020157036203A KR20157036203A KR20160003334A KR 20160003334 A KR20160003334 A KR 20160003334A KR 1020157036203 A KR1020157036203 A KR 1020157036203A KR 20157036203 A KR20157036203 A KR 20157036203A KR 20160003334 A KR20160003334 A KR 20160003334A
Authority
KR
South Korea
Prior art keywords
texture image
texture
block
depth
depth map
Prior art date
Application number
KR1020157036203A
Other languages
English (en)
Inventor
유-린 장
시-타 시앙
치-링 우
치-밍 후
치아-핑 첸
유-파오 차이
유-웬 황
쇼우-민 레이
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20160003334A publication Critical patent/KR20160003334A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0048—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3D 비디오 코딩 시스템에서의 텍스처 이미지 압축 방법 및 장치를 개시한다. 본 발명에 따르면 텍스처 이미지와 연관된 깊이 맵에 관련된 깊이 정보를 얻은 다음, 얻은 깊이 정보에 기초하여 텍스처 이미지를 처리한다. 본 발명은 인코더 측은 물론 디코더 측에도 적용될 수 있다. 깊이 맵 및 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는 블록단위 인터리빙 또는 화면단위 인터리빙에 기초할 수 있다. 본 발명의 일 측면은 깊이 맵의 깊이 정보에 기초한 텍스처 이미지의 분할에 관한 것이다. 본 발명의 다른 측면은 깊이 정보에 기초한 움직임 벡터 또는 움직임 벡터 예측자 처리에 관한 것이다.

Description

3D 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 {METHOD AND APPARATUS OF TEXTURE IMAGE COMPRESSION IN 3D VIDEO CODING}
본 발명은 비디오 코딩에 관한 것이다. 특히, 본 발명은 3D 비디오 코딩에서의 텍스처 이미지 압축에 관한 것이다.
관련출원의 상호참조
본 발명은 2011년 6월 15일에, "Method of compressing texture images using depth maps in 3D video coding"이라는 발명의 명칭으로 출원된, 미국 가특허출원 제61/497,441호에 대해 우선권을 주장한다. 상기 미국 가특허출원의 내용 전부는 인용에 의해 본 출원에 포함된다.
삼차원(three-dimensional,3D) 텔레비전은, 시청자에게 깜짝 놀랄만한 시청 경험을 제공하는 것을 목표로 하는 것이 최근의 기술 동향이다. 3D 시청을 가능하게 하기 위해 다양한 기술이 개발되었다. 그 중에서, 다시점 비디오(multi-view video)가 특히 3D TV 애플리케이션에 있어 핵심 기술이다. 종래의 비디오는, 시청자에게 오직 카메라의 관점에서 장면(scene)의 단일 시점(single view)을 제공하는 이차원(two-dimensional, 2D) 매체이다. 그러나, 다시점 비디오는 동적인 장면에 대해 임의의 관점(viewpoint)을 제공할 수 있고 시청자에게 현실감을 제공한다.
다시점 비디오는 일반적으로 복수의 카메라를 동시에 사용하여 장면을 포착(capture)함으로써 만들어지고, 복수의 카메라는 각각의 카메라가 하나의 관점에서 장면을 포착하도록 적절히 위치한다. 따라서, 복수의 카메라는 복수의 시점에 대응하는 복수의 비디오 시퀀스(video sequence)를 포착한다. 더 많은 시점을 제공하기 위해, 더 많은 카메라가 복수의 시점과 연관된 많은 수의 비디오 시퀀스를 가지는 다시점 비디오를 생성하기 위해 사용되었다. 따라서, 다시점 비디오는 저장을 위한 대량의 저장 공간 및/또는 전송을 위한 높은 대역폭을 필요로 할 것이다. 따라서, 다시점 비디오 코딩 기술은 필요한 저장 공간 또는 전송 대역폭을 줄이기 위해 현장에서 개발되었다. 간단한 방법은 단순히 각각의 단일 시점 비디오 시퀀스에 종래의 비디오 코딩 기술을 독립적으로 적용하고 다른 시점들 사이의 상관관계를 무시한다. 다시점 비디오 코딩 효율성을 개선하기 위해, 일반적인 다시점 비디오 코딩는 항상 시점 간 중복성(inter-view redundancy)을 이용한다.
시점 간 상관관계는 3D 비디오 코딩에서의 텍스처 이미지의 코딩 효율을 향상시키는 데 유용하지만, 텍스처 이미지와 깊이 맵(depth map) 사이에는 상당한 상관관계가 있다. 텍스처 이미지와 깊이 맵 사이의 상관 관계를 이용하는 것이 텍스처 이미지 압축의 코딩 효율을 더욱 개선하는 데 유익할 것이다. 또한, H.264/AVC와 같은 기존의 고효율 코딩 표준 또는 최근에 만들어진 고효율 비디오 코딩 (HEVC) 시스템에 따라 코딩 효율이 향상된 텍스처 이미지 압축 방식을 개발하는 것이 바람직하다.
3D 비디오 코딩 시스템에서의 텍스처 이미지 압축을 위한 방법 및 장치를 개시한다. 본 발명에 따른 실시예는, 먼저 텍스처 이미지와 연관된 깊이 맵에 관한 깊이 정보를 얻고, 얻은 깊이 정보에 기초하여 텍스처 이미지를 처리한다. 본 발명은 인코더 측뿐만 아니라 디코더 측에도 적용될 수 있다. 깊이 정보는 깊이 데이터 및 분할 정보(partition information)를 포함할 수 있다. 깊이 맵은 현재 시점(current view)에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩될 수 있거나, 다른 시점에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어질 수 있거나, 또는 디코딩된 텍스처 이미지로부터 얻어질 수 있다. 깊이 맵 및 텍스처 이미지에 대한 인코딩 순서(encoding orde) 또는 디코딩 순서(decoding order)는 블록 단위 인터리빙(block-wise interleaving) 및 화면 단위 인터리빙(picture-wise interleaving)에 기초할 수 있다. 블록 단위 인터리빙 또는 화면 단위 인터리빙은 텍스처 이미지와 연관된 비트 스트림 내의 플래그(flag)에 따라 선택될 수 있다. 또한 플래그는 시퀀스 레벨, 화면 레벨, 슬라이스 레벨, 또는 블록 레벨에서 포함될 수 있다.
본 발명의 일 측면은 깊이 맵의 깊이 정보를 기초로 한 텍스처 이미지의 분할에 관한 것이며, 텍스처 이미지는 텍스처 블록으로 분할되고, 텍스처 이미지의 현재 텍스처 블록의 분할은 깊이 맵의 깊이 정보에 기초한다. 텍스처 블록은 임의의 형상이거나 또는 직사각 형상일 수 있다. 텍스처 이미지의 현재 텍스처 블록이 서브블록(sub-block)으로 분할되는지는, 깊이 맵의 대응하는 블록의 깊이 정보에 기초할 수 있다. 서브블록의 형상은 깊이 맵의 대응하는 블록의 깊이 정보에 기초할 수 있다. 깊이 맵의 대응하는 블록의 깊이 정보가 텍스처 이미지의 현재의 텍스처 블록을 서브블록으로 분할하는 데 사용되는지를 나타내기 위해, 플래그를 사용할 수 있다. 텍스처 이미지의 현재 텍스처 블록이 텍스처 이미지의 다른 텍스처 블록과 병합(merged)되는지는, 깊이 맵의 깊이 정보에 기초할 수 있다.
본 발명에 따른 다른 실시예에서, 텍스처 이미지는 텍스처 블록으로 분할되고, 텍스처 이미지의 텍스처 블록의 움직임 정보(motion information)는 다른 시점에서의 대응하는 텍스처 블록의 움직임 정보로부터 얻어질 수 있다. 대응하는 텍스처 블록의 위치(loction)는 현재 시점에서의 깊이 맵에 기초하여 얻어질 수 있다. 움직임 정보는 MV들, 참조 화면 색인(reference picture index), 영역 분할, 예측 방향, 및 예측 모드를 포함할 수 있다. 본 발명에 따른 또 다른 실시예에서, 텍스처 이미지에 대한 예측 모드는 텍스처 이미지와 연관된 움직임 벡터에 따라 결정될 있고, 움직임 벡터는 깊이 정보에 기초하여 분류된다. 깊이 정보로 나타낸 텍스처 이미지에서 가까운 객체(object)에 대응하는 영역은, 공간 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 선택하는 것을 선호할 수 있는 반면, 깊이 정보로 나타낸 텍스처 이미지에서 먼 객체에 대응하는 영역은, 시간 MVP 또는 시점 간 MVP를 선택하는 것을 선호할 수 있다.
본 발명의 다른 측면은 움직임 벡터 또는 움직임 벡터 예측자 처리에 관한 것이다. 일 실시예에서, 텍스쳐 이미지에 대한 MVP(움직임 벡터 예측자)의 제거(pruning)는 텍스처 이미지와 연관된 움직임 벡터에 기초할 수 있고, 움직임 벡터는 깊이 정보를 기초로 하여 분류된다. 하나 이상의 중복 후보(redundant candidate) MVP는 MVP 후보 리스트에서 제거될 수 있으며, 깊이 정보로 나타낸 텍스처 이미지에서 먼 객체에 대응하는 영역에 대해 움직임이 큰 후보 MVP가, MVP 후보 리스트에서 제거되거나 낮은 우선순위를 부여받을 수 있다. 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델은 깊이 맵에 기초하여 결정된다. 텍스처 이미지에서 먼 객체에 대응하는 영역은 병진 모델(translation model)에 따라 움직임 벡터를 얻을 수 있고, 텍스처 이미지에서 가까운 객체에 해당하는 영역은 투시 모델(perspective model)에 따라 움직임 벡터를 얻을 수 있다. 또 다른 실시 예에서, 텍스처 이미지의 현재 영역에 대한 모드는 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 결정될 수 있다. 대응하는 영역의 위치는, 현재 영역의 위치와, 텍스처 이미지에 연관된 깊이 맵과 다른 시점에서의 대응하는 텍스처 이미지와 연관된 깊이 맵 사이의 위치 대응관계(location correspondence)_로부터 얻어질 수 있다. 모드는 분할 모드, 인터/인트라(inter/intra) 모드, 및 스킵(skip) 모드를 포함할 수 있다.
도 1은 본 발명에 따른 깊이 정보를 이용한 텍스처 이미지 압축의 일례를 나타낸 도면이다.
도 2는 텍스처 이미지와 깊이 맵을 블록으로 분할하는 일례를 나타낸 도면이다(처리 순서는 화면 단위 또는 블록 단위일 수 있음).
도 3은 텍스처 이미지 압축을 위한 깊이 정보를 얻는 예시적인 방법을 나타낸 도면이다.
도 4는 깊이 맵의 영역 분할 정보에 기초한 텍스처 이미지의 영역 분할의 일례를 나타낸 도면이다.
도 5는 두 개의 깊이 맵 사이의 대응관계를 이용한 텍스처 이미지 코딩을 위한 움직임 벡터 예측 프로세스의 일례를 나타낸 도면이다.
본 발명의 실시예는 3D 비디오 코딩 시스템에서 텍스처 이미지를 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 텍스처 이미지의 인코딩 및 디코딩에는 대응하는 깊이 맵의 정보를 이용한다. 텍스처 이미지와 깊이 맵 사이의 상관관계는 텍스처 이미지 압축의 코딩 효율을 향상시키는 데 유용하다.
본 발명의 일 실시예에 따르면, 깊이 맵은 각각의 텍스처 이미지보다 먼저 코딩된다. 따라서, 텍스처 이미지 압축은 깊이 맵과 연관된 깊이 정보를 이용할 수 있다. 깊이 정보는 깊이 데이터와 분할 정보를 포함할 수 있다. 일반적인 코딩 시스템이 흔히 깊이 정보를 블록 또는 영역으로 분할하고 블록 또는 영역에 기초하여 인코딩 프로세스를 적용하기 때문에, 분할 정보는 대개 깊이 맵의 인코딩 중에 생성된다. 깊이 맵 및 텍스처의 코딩 순서는 화면 단위(picture-wise) 또는 블록 단위(block-wise) 방식일 수 있다. 도 1은 깊이 맵으로부터의 깊이 정보를 이용한 텍스처 이미지 압축의 일례를 나타낸다. 텍스처 이미지(110) 내의 현재 블록(112)의 압축은 대응하는 깊이 맵(120)으로부터의 정보를 이용할 수 있다. 현재 블록(112)에 대응하는 깊이 맵(120) 내의 블록(122)은 식별될 수 있다. 대응하는 블록(122)에 대한 정보는 텍스처 이미지(110) 내의 현재 블록(112)을 처리하기 전에 입수 가능하기 때문에, 대응하는 블록(122)에 대한 깊이 정보는 코딩 효율을 향상시키기 위해 현재 블록(112)의 압축에 사용될 수 있다. 도 1의 예는, 깊이 맵 내의 대응하는 블록이 현재 블록(112)의 압축에 사용된다는 것을 나타내지만, 깊이 맵 내의 하나 이상의 블록이 또한, 현재 블록을 처리하기 전에 깊이 맵 내의 그러한 블록들의 깊이 정보가 알려져 있는 한, 텍스처 이미지의 현재 블록의 압축에 사용될 수 있다. 또한, 하나 이상의 깊이 맵 내의 블록들의 깊이 정보가 현재 블록을 처리하기 전에 알려져 있다면, 그 하나 이상의 깊이 맵으로부터의 블록들이 본 발명의 실시에 사용될 수도 있다.
텍스처 이미지 내의 블록의 압축에 깊이 맵으로부터의 정보를 사용하기 위해, 텍스처 이미지 내의 블록의 압축에 깊이 맵으로부터의 필요한 정보는 현재 블록을 압축하기 전에 이용할 수 있게 되어야 한다. 일반적인 비디오 압축 또는 처리 시스템에서, 텍스처 이미지와 깊이 맵은, 도 2에 도시된 바와 같이, 대개로 블록단위로 처리되고, 여기서 텍스처 이미지는 텍스처 블록 T1 T2, T3, ..., Tn으로 분할되고, 깊이 맵은 깊이 블록 D1, D2, D3, ..., 및 Dn으로 분할되며, 여기서 n은 텍스처 이미지 또는 깊이 맵에서의 블록의 번호이다. 텍스처 이미지와 깊이 맵의 처리 순서는 화면 단위일 수 있다, 즉, 텍스처 이미지를 처리하기 전에 전체 깊이 맵이 처리된다. 또한 다수의 깊이 맵이 텍스처 이미지를 처리하기 전에 처리될 수도 있으므로 텍스처 블록의 압축에는 다수의 깊이 맵으로부터의 정보를 이용할 수 있다. 처리 순서는 또한 블록 단위일 수 있다, 즉, 텍스처 블록과 깊이 블록이 인터리빙 방식으로 처리될 수 있다. 예를 들면, 처리 순서는 D1, T1, T2, T2, D3, T3, ..., Dn 및 Tn일 수 있다. 인터리빙이 매 N개의 블록에 기초하여 이루어질 수 있는 경우, 다수의 블록이 인터리빙될 수 있다. 예를 들면, N이 4인 경우, 블록단위 인터리빙 처리 순서는 D1, D2, D3, D4, T1, T2, T3, T4, D5, D6, D7, D8, T5, T6, T7, T8 등등일 수 있다. 또한 다른 블록단위 인터리빙 패턴도 사용될 수 있다. 또, 텍스처 블록의 처리는 대응하는 깊이 블록을 참조하여 지연될 수 있다. 예를 들어, 현재 텍스처 블록의 처리는 동일 위치에 있는(co-located) 깊이 블록 주위의 깊이 블록과 연관된 깊이 정보를 이용할 수 있다. 이 경우, 현재 텍스처 블록의 처리는 필요한 깊이 블록을 이용할 수 있을 때까지 기다려야 한다. 도 2에 나타낸 블록들이 텍스처 이미지(210) 또는 깊이 맵 (220)을 블록으로 분할하는 것을 보여주는 일례로서 사용된다. 블록들은 다양한 크기일 수 있다. 예를 들어, 블록은, 4×4, 8×8, 16×16, 32×32 또는 64×64 픽셀과 같은 정사각형, 직사각형, 또는 화면 폭을 가로질러 연장되는 스트라이프일 수 있다. 블록은 어떠한 형상일 수도 있다.
전술한 바와 같이, 본 발명의 실시예는 텍스처 블록의 압축을 위해 이용 가능한 깊이 정보를 활용한다. 도 3에 도시된 바와 같이, 깊이 블록 및 관련 정보를 얻는 방법은 다양하다. 본 발명의 일 실시예에 따르면, 깊이 블록 및 관련 정보는 현재 시점과 연관된 깊이 비트 스트림으로부터 얻어질 수 있다. 깊이 비트 스트림은 텍스처-이미지 비트 스트림으로부터 분리할 수 있다. 깊이 비트 스트림은 텍스처-이미지 비트 스트림과 결합하여 하나의 비트 스트림을 형성할 수 있다. 깊이 디코더는, 블록 310에 나타낸 바와 같이, 깊이 비트 스트림을 디코딩하여 현재 시점의 깊이 블록 및 관련 정보를 복구하는 데 이용될 수 있다. 현재 시점의 깊이 블록 및 관련 정보는 또한 다른 시점들의 깊이 맵으로부터 얻어질 수 있다. 이 경우, 깊이 디코더는, 블록 320에 나타낸 바와 같이, 비트 스트림을 디코딩하여 다른 시점의 깊이 블록과 연관된 깊이 정보를 복구하는 데 이용될 수 있다. 현재 시점에 대응하는 깊이 맵은 또한 다른 시점들에 대한 깊이 맵으로부터 얻어질 수 있다. 본 발명의 또 다른 실시예에서, 깊이 블록 및 관련 정보는, 블록 330에 나타낸 바와 같이, 깊이 맵 생성을 사용하여 디코딩된 텍스처 이미로부터 얻어질 수 있다. 이 경우, 현재 시점에 대응하는 깊이 맵은 현재 시점 또는 다른 시점들과 연관된 디코딩된 텍스처 이미지로부터 얻어질 수 있다. 얻어진 깊이 맵은 깊이 맵 참조 버퍼(340)에 저장될 수 있고, 블록 350에 나타낸 바와 같이 깊이 맵에 연관된 정보는 현재 시점에 대한 텍스처 이미지의 인코딩이나 디코딩에 이용될 수 있다. 도 3에 나타낸 바와 같이 다양한 방법에 따라 얻어진 깊이 맵은, 현재 시점에 대한 텍스처 이미지의 디코딩/인코딩에 개별적으로 또는 공동으로 적용될 수 있다.
본 발명에 따른 일 실시예에서는, 텍스처 이미지의 영역 분할은 깊이 맵의 영역 분할로부터 파생되거나 추론될 수 있다. 도 4는 대응하는 깊이 맵의 영역 분할에 따른 텍스처 이미지의 영역 분할의 일례를 나타낸다. 텍스처 이미지의 블록은 깊이 맵의 영역 분할에 따라 임의의 형상 또는 직사각 형상의 서브블록으로 나눠질 수 있다. 예를 들어, 현재 텍스처 블록(410)의 분할은 대응하는 깊이 블록(410a)에 따라 달라질 수 있다. 현재 텍스처 블록(410)은, 깊이 블록(410a)이 인접 블록 420a, 430a 및 440a 중 하나와 병합되는지에 따라 인접 블록 420, 430, 및 440 중 하나와 병합될 수 있다. 하나의 플래그를 사용하여 텍스처 이미지에 대한 영역 분할이 깊이 맵으로부터 파생되었는지를 나타낼 수 있다. 또한, 서브블록과 그 인접한 코딩된 블록이 유사한 깊이 데이터를 가지는 경우, 인접 블록의 움직임 정보를 현재 블록이 공유할 수 있도록, 서브블록과 그 인접한 코딩된 블록은 병합될 수 있다. 선택된 공간적 또는 시간적 인접 블록과의 병합을 위해 움직임 정보를 공유하는 방법은, 고효율 비디오 코딩 테스트 모델 버전 3.0(HM3.0)의 병합 모드와 유사하다. 다른 플래그를 사용하여 병합의 가능 여부를 나타낼 수 있다.
도 5에 도시된 바와 같이, 현재 시점의 움직임 정보는 움직임 벡터 예측 프로세스 중에 다른 시점으로부터 예측될 수 있으며, 여기서 텍스처 이미지(510)가 현재 텍스처 이미지이고, 깊이 맵(520)이 현재 시점의 깊이 맵이며, 텍스처 이미지(510a)가 다른 시점에서의 대응하는 텍스처 이미지이고, 깊이 맵(520a)이 대응하는 다른 시점의 깊이 맵이다. 현재 시점에서의 깊이 맵(520)의 깊이 블록(522)과 다른 시점에서의 깊이 맵(520a)의 대응하는 깊이 블록(522a) 사이의 대응관계를 결정할 수 없는 경우, 현재 텍스처 이미지(510)의 현재 블록(512)과 연관된 다른 시점에서의 대응하는 텍스처 블록(512a)이 얻어질 수 있다. 대응하는 블록(512a)의, 움직임 벡터와 같은, 움직임 정보는 현재 시점에서의 현재 블록(512)에 적용된다. 움직임 정보는 또한 참조 화면 색인(reference picture index), 영역 분할, 예측 방향, 및 예측 모드를 포함할 수 있다. 유사하게, 대응하는 블록(512a)의 움직임 벡터(MV)는 현재 블록(512)의 움직임 벡터 예측자(MVP)로서 사용될 수 있다.
깊이 맵은 또한 적응적 움직임 처리(adaptive motion processing)에 사용될 수 있다. MV는, 텍스처 이미지 내에서 가까운 객체들이 더 빨리 움직인다는 가정하에 깊이 맵에 따라 분류될 수 있다. 운동 시차(motion parallax)로 인해, 가까운 객체들은 흔히 움직임이 큰 반면, 먼 객체들은 흔히 움직임이 작다. 큰 움직임을 포함하는 영역에서는, 공간적 예측을 수행하는 것이 여러 이유로 인해 시간적 또는 시점 간 예측보다 나을 수 있다. 따라서, 실제 깊이가 작은 경우에 공간적 MVP가 더 높은 우선순위를 가진다는 것은, 가까운 객체들로 인해 움직임이 클 수 있고 공간적 상관관계는 더 높을 수 있다는 것을 의미한다. 한편, 실제 깊이가 큰 경우에 시간적 또는 시점 간 MVP가 더 높은 우선순위를 가진다는 것은, 먼 객체들로 인해 움직임이 작을 수 있고 시간적 또는 시점 간 상관관계는 더 높을 수 있다는 것을 의미한다. 따라서, 깊이 맵이, 깊이 맵의 깊이 정보에 적합한 움직임 프로세스의 일례로서 공간적 및 시간적/시점 간 MVP의 적응적인 선택에 이용된다.
깊이 정보에 기초한 MV 분류가 MVP 제거 프로세스에 적용될 수도 있다. 먼 객체들을 포함하는 텍스처 블록에 대해, 작은 MV 후보가 후보 리스트에서 더 높은 우선순위를 가진다. 다시 말해, 큰 MV 후보는 낮은 우선순위를 가지거나 먼 객체들을 포함하는 영역에서의 리스트에서 제거된다. 앞서 언급한 바와 같이, 운동 시차로 인해, 가까운 객체들과 동일한 변위를 겪는 먼 객체들은 더 작은 움직임 벡터를 초래할 것이다. 따라서, 먼 객체들을 포함하는 영역에서의 큰 움직임 벡터를 가질 가능성이 작다. 가까운 객체들에 대해, (값이 영인 움직임 벡터를 포함하는) 작은 움직임 벡터 및 큰 움직임 벡터 모두가 나타날 가능성이 있다. 크거나 작은 이들 움직임 벡터는 가까운 객체들의 실제 변위를 나타낼 수 있다. 따라서 가까운 객체들을 포함하는 영역은 움직임 분류에 적합한 후보 MVP에 우선순위를 부여하지 않을 수 있다.
본 발명의 다른 실시예에 따르면, 움직임 모델은 MV 예측 프로세스에서의 깊이 맵에 적응될 수 있다. 가까운 객체의 텍스처 이미지는 투시 모델(perspective model)에 적합하다. 한편, 먼 객체의 텍스처 이미지는 병진 모델(translational model)에 적합하다. 다시 말하지만, 앞서 언급한 이유로, 가까운 객체들과 동일한 변위를 겪는 먼 객체들은 운동 시차로 인해 더 작은 움직임 벡터를 초래할 수 있다. 대개, 단순 변진 운동 모델은 더 작은 움직임에 대해 더 잘 작동한다. 더 큰 움직임의 경우, 더 복잡한 투시 모델을 추구해야 할 수 있다.
본 발명의 또 다른 실시예에 따르면, 현재 시점의 예측 모드를 다른 시점 또는 다른 시점들의 모드로부터 얻을 수 있다. 또 다른 시점에서의 대응하는 텍스처 블록은 깊이 정보를 사용하여 취득될 수 있다. 예측 유형, 블록 크기, 참조 화면 색인, 예측 방향, 및 분할과 같은, 대응하는 텍스처 블록의 모드는 나중에 현재 텍스처 블록에 적용될 수 있다. 예측 유형에는 인터/인트라(Inter/Intra), 스킵(Skip), 병합(Merge), 및 직접(Direct) 모드를 포함할 수 있다.
이상의 설명은 해당 기술분야의 당업자에게 특정 애플리케이션 및 그 요구사항의 맥락에서 제공된 바와 같이 본 발명을 실시할 수 있도록 제공된다. 해당 기술분야의 당업자에게 있어 설명한 실시예에 대한 다양한 수정은 명뱅할 것이고, 본 명세서에 정의된 일반 원칙은 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 도시 및 설명된 특정 실시예에 한정되는 것으로 의도되는 것이 아니라, 본 명세서에 개시된 여리 원리 및 새로운 특징들과 일치하는 가장 넓은 범위를 부여할 수 있다. 이상의 상세한 설명에서, 다양한 구체적인 내용은 본 발명의 철저한 이해를 제공하기 위해 설명된다. 그렇기는 하지만, 해당 기술분야의 당업자라면 본 발명이 실시될 수 있음을 이해할 것이다.
전술한 바와 같이 본 발명에 따른 3D 비디오 코딩 시스템에서의 깊이 맵을 이용한 텍스처 이미지의 인코딩 및 디코딩에 대한 실시예는, 다양한 하드웨어, 소프트웨어 코드, 또는 이 둘의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 여기에서 설명한 처리를 수행하기 위해 비디오 압축 칩으로 집적된 회로 또는 비디오 압축 소프트웨어로 집적된 프로그램 코드일 수 있다. 본 발명의 실시예는 또한 여기에서 설명한 처리를 수행하기 위해 디지털 신호 프로세서(Digital Signal Processor, DSP)에서 실행되는 프로그램 코드일 수도 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로 프로세서, 또는 필드 프로그래머블 게이트 어레이(Field Progrannable Gate Array, FPGA )에 의해 수행될 많은 기능을 포함할 수 있다. 이들 프로세서는, 본 발명에 의해 구현된 특정 방법을 정의한 기계로 판독 가능한 소프트웨어 코드 또는 펌웨어를 실행함으로써, 본 발명에 따른 특정한 타스크(task)를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 다른 프로그래밍 언어와 다른 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 또한 다른 타겟 플랫폼에 대해 컴파일될 수 있다. 그러나, 본 발명에 따른 타스크를 수행하기 위한 다른 코드 포맷, 스타일 및 소프트웨어 코드의 언어 그리고 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위를 벗어나지 않는다.
본 발명은 본 발명의 사상 또는 본질적인 특성에서 벗어나지 않고서 다른 특정한 형태로 구현될 수 있다. 설명한 예는 모든 측면에서 예시적인 것이고 한정적인 것이 아닌 것으로 생각되어야 한다. 따라서, 본 발명의 범위는 전술한 설명에 의해서가 아니라 첨부된 특허청구범위에 의해 표시된다. 특허청구범위와 등가의 수단 및 범위에서의 모든 변경사항은 본 발명의 범위에 속한다.

Claims (34)

  1. 삼차원(3D) 비디오 코딩 시스템에서 텍스처 이미지를 압축하는 방법으로서,
    깊이 맵을 인코딩 또는 디코딩하는 단계;
    상기 깊이 맵에 관련된 깊이 정보를 도출하는 단계; 및
    상기 도출한 깊이 정보에 기초하여 텍스처 이미지를 인코딩 또는 디코딩하는 단계
    를 포함하고,
    상기 도출한 깊이 정보에 기초하여 텍스처 이미지를 인코딩 또는 디코딩하는 단계는,
    상기 깊이 정보에 기초하여 상기 텍스처 이미지의 현재 블록과 연관된 다른 시점의 대응하는 텍스처 블록을 도출하는 단계; 및
    상기 대응하는 텍스처 블록의 움직임 벡터(MV)를 상기 현재 블록의 후보 움직임 벡터 예측자(MVP)로서 사용하는 단계
    를 포함하며,
    상기 깊이 맵 및 상기 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는, 화면단위 인터리빙(picture-wise interleaving)에 기초하고,
    상기 깊이 맵의 하나 이상의 블록은 상기 텍스처 이미지의 현재 블록을 인코딩 또는 디코딩하는데 이용되는, 방법.
  2. 제1항에 있어서,
    상기 깊이 정보는 깊이 데이터와 분할 정보를 포함하는, 방법.
  3. 제1항에 있어서,
    디코더 측에서, 상기 깊이 맵은, 상기 현재 시점에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩되거나, 다른 시점(other view)에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어지거나, 또는 디코딩된 텍스처 이미지로부터 얻어지는, 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 블록은 동일 위치에 있는(co-located) 깊이 블록 주위의 깊이 블록인, 방법.
  5. 제1항에 있어서,
    하나 이상의 깊이 맵으로부터의 블록이 상기 텍스처 이미지의 현재 블록을 인코딩 또는 디코딩하는데 이용되는, 방법.
  6. 제1항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록의 분할은 상기 깊이 맵의 깊이 정보에 기초하는, 방법.
  7. 제6항에 있어서,
    상기 텍스처 블록은 임의의 형상 또는 직사각 형상인, 방법.
  8. 제6항에 있어서,
    상기 텍스처 이미지의 현재 텍스처 블록을 서브블록으로 분할할 것인지는 상기 깊이 맵의 대응하는 현재 블록의 깊이 정보에 기초하는, 방법.
  9. 제8항에 있어서,
    상기 서브블록의 형상은 상기 깊이 맵의 상기 대응하는 현재 블록의 깊이 정보에 기초하는, 방법.
  10. 제8항에 있어서,
    플래그를 사용하여, 상기 깊이 맵의 상기 대응하는 현재 블록의 깊이 정보가 상기 텍스처 이미지의 현재 텍스처 블록을 상기 서브블록으로 분할하는 데 사용되는지를 나타내는, 방법.
  11. 제1항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록과 상기 텍스처 이미지의 다른 텍스처 블록을 병합할 것인지는 상기 깊이 맵의 깊이 정보에 기초하는, 방법.
  12. 제11항에 있어서,
    플래그를 사용하여, 병합 모드가 인에이블 상태인지를 나타내는, 방법.
  13. 제1항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 텍스처 블록의 움직임 정보는 다른 시점에서의 대응하는 텍스처 블록 또는 상기 깊이 맵의 대응하는 깊이 블록의 움직임 정보로부터 얻어지는, 방법.
  14. 제13항에 있어서,
    상기 대응하는 텍스처 블록의 위치는 상기 현재 시점에서의 상기 깊이 맵에 기초하여 얻어지는, 방법.
  15. 제13항에 있어서,
    상기 움직임 정보는 MV(Moving Vector, 움직임 벡터), 참조 화면 색인, 영역 분할, 예측 방향, 및 예측 모드를 포함하는, 방법.
  16. 제1항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지에 대한 움직임 벡터에 따라 상기 텍스처 이미지에 대한 예측 모드를 결정하는 단계를 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 방법.
  17. 제16항에 있어서,
    상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 가까운 객체에 대응하는 제1 영역은 공간 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 우선적으로 선택하고, 상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 먼 객체에 대응하는 제2 영역은 시간 MVP 또는 시점 간 MVP를 우선적으로 선택하는, 방법.
  18. 제1항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지에 대한 움직임 벡터에 따라 상기 텍스처 이미지에 대한 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 제거하는 단계를 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 방법.
  19. 제18항에 있어서,
    하나 이상의 중복 후보 MVP가 MVP 후보 리스트에서 제거되고, 상기 깊이 정보로 나타낸 상기 텍스처 이미지에서 먼 객체에 대응하는 영역에 대해 움직임이 큰 후보 MVP가, 상기 MVP 후보 리스트에서 제거되거나 낮은 우선순위가 부여되는, 방법.
  20. 제1항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 상기 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델을 결정하는 단계를 포함하고, 상기 움직임 모델을 결정하는 단계는 상기 깊이 맵에 의존하는, 방법
  21. 제20항에 있어서,
    상기 텍스처 이미지에서 먼 객체에 대응하는 제1 영역은 병진 모델(translation medel)에 따라 상기 움직임 벡터를 얻고, 상기 텍스처 이미지에서 가까운 객체에 대응하는 제2 영역은, 투시 모델(perspective model)에 따라 상기 움직임 벡터를 얻는, 방법.
  22. 제1항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 단계는, 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 상기 텍스처 이미지의 현재 영역에 대한 모드를 결정하는 단계를 포함하는, 방법.
  23. 제22항에 있어서,
    상기 대응하는 텍스처 이미지의 대응하는 영역의 위치는, 상기 현재 시점에서의 상기 깊이 맵에 기초하여 얻어지고, 상기 대응하는 영역의 위치는 현재 영역의 위치와, 상기 텍스처 이미지와 연관된 상기 깊이 맵과 상기 다른 시점에서의 대응하는 텍스처 이미지와 연관된 깊이 맵 사이의 위치 대응관계로부터 얻어지는, 방법.
  24. 제22항에 있어서,
    상기 모드는 예측 유형, 블록 크기, 참조 화면 색인, 예측 방향, 및 분할을 포함하는, 방법.
  25. 3D 비디오 코딩 시스템에서 텍스처 이미지를 압축하는 장치로서,
    깊이 맵을 인코딩 또는 디코딩하는 수단;
    상기 깊이 맵에 관련된 깊이 정보를 도출하는 수단; 및
    상기 도출한 깊이 정보에 기초하여 텍스처 이미지를 인코딩 또는 디코딩하는 수단
    을 포함하고,
    상기 도출한 깊이 정보에 기초하여 텍스처 이미지를 인코딩 또는 디코딩하는 수단은,
    상기 깊이 정보에 기초하여 상기 텍스처 이미지의 현재 블록과 연관된 다른 시점의 대응하는 텍스처 블록을 도출하는 수단; 및
    상기 대응하는 텍스처 블록의 움직임 벡터(MV)를 상기 현재 블록의 후보 움직임 벡터 예측자(MVP)로서 사용하는 수단
    을 포함하며,
    상기 깊이 맵 및 상기 텍스처 이미지에 대한 인코딩 순서 또는 디코딩 순서는, 화면단위 인터리빙에 기초하고,
    상기 깊이 맵의 하나 이상의 블록은 상기 텍스처 이미지의 현재 블록을 인코딩 또는 디코딩하는데 이용되는, 장치.
  26. 제25항에 있어서,
    상기 깊이 정보는 깊이 데이터와 분할 정보를 포함하는, 장치.
  27. 제25항에 있어서,
    디코더 측에서, 상기 깊이 맵은, 상기 현재 시점에 대한 제1 압축 깊이 맵을 포함하는 제1 비트 스트림으로부터 디코딩되거나, 다른 시점에 대한 제2 압축 깊이 맵을 포함하는 제2 비트 스트림으로부터 디코딩되어 얻어지거나, 또는 디코딩된 텍스처 이미지로부터 얻어지는, 장치.
  28. 제25항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록의 분할은 상기 깊이 맵의 깊이 정보에 기초하는, 장치.
  29. 제25항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 현재 텍스처 블록과 상기 텍스처 이미지의 다른 텍스처 블록을 병합할 것인지는 상기 깊이 맵의 깊이 정보에 기초하는, 장치.
  30. 제25항에 있어서,
    상기 텍스처 이미지는 텍스처 블록으로 분할되고, 상기 텍스처 이미지의 텍스처 블록의 움직임 정보는 다른 시점에서의 대응하는 텍스처 블록의 움직임 정보로부터 얻어지는, 장치.
  31. 제25항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지에 대한 움직임 벡터에 따라 상기 텍스처 이미지에 대한 예측 모드를 결정하는 수단을 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 장치.
  32. 제25항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지에 대한 움직임 벡터에 따라 상기 텍스처 이미지에 대한 MVP(Motion Vector Predictor, 움직임 벡터 예측자)를 제거하는 수단을 포함하고, 상기 움직임 벡터는 상기 깊이 정보에 기초하여 분류되는, 장치.
  33. 제25항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 상기 텍스처 이미지에 대한 움직임 벡터를 얻기 위한 움직임 모델을 결정하는 수단을 포함하고, 상기 움직임 모델을 결정하는 수단은 상기 깊이 맵에 의존하는, 장치.
  34. 제25항에 있어서,
    상기 텍스처 이미지를 인코딩 또는 디코딩하는 수단은, 다른 시점에서의 대응하는 텍스처 이미지의 대응하는 영역의 모드에 기초하여 상기 텍스처 이미지의 현재 영역에 대한 모드를 결정하는 수단을 포함하는, 장치.
KR1020157036203A 2011-06-15 2012-06-15 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치 KR20160003334A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161497441P 2011-06-15 2011-06-15
US61/497,441 2011-06-15
PCT/CN2012/076975 WO2012171477A1 (en) 2011-06-15 2012-06-15 Method and apparatus of texture image compression in 3d video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137026868A Division KR20140004209A (ko) 2011-06-15 2012-06-15 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20160003334A true KR20160003334A (ko) 2016-01-08

Family

ID=47356549

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157036203A KR20160003334A (ko) 2011-06-15 2012-06-15 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
KR1020137026868A KR20140004209A (ko) 2011-06-15 2012-06-15 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137026868A KR20140004209A (ko) 2011-06-15 2012-06-15 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치

Country Status (7)

Country Link
US (1) US9918068B2 (ko)
EP (1) EP2721823B1 (ko)
JP (1) JP5872676B2 (ko)
KR (2) KR20160003334A (ko)
CN (1) CN103621093B (ko)
CA (1) CA2833032C (ko)
WO (1) WO2012171477A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765895B (zh) * 2011-06-24 2017-03-08 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
EP2873240A1 (en) * 2012-07-13 2015-05-20 Huawei Technologies Co., Ltd. Apparatus for coding a bit stream representing a three-dimensional video
US20150326880A1 (en) * 2012-12-14 2015-11-12 Liu He Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
WO2014109547A1 (ko) * 2013-01-08 2014-07-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
WO2014166068A1 (en) 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
CN105230014B (zh) * 2013-07-01 2018-02-02 寰发股份有限公司 用于三维视频编码系统的深度图编码的方法及其装置
WO2015006924A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. An additional texture merging candidate
EP3022908B1 (en) 2013-07-19 2017-11-01 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
KR20150012206A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
WO2015062002A1 (en) * 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
US9432685B2 (en) 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
WO2015135137A1 (en) * 2014-03-11 2015-09-17 Mediatek Singapore Pte. Ltd. A method of motion information sharing in multi-view and 3d video coding
US10187657B2 (en) 2014-03-14 2019-01-22 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
AU2015230086A1 (en) * 2014-03-14 2016-09-29 Samsung Electronics Co., Ltd. Multi-layer video encoding method and multi-layer video decoding method using depth block
WO2015196424A1 (en) * 2014-06-26 2015-12-30 Mediatek Inc. Methods for the transmission of flags related to dbbp
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN108632629B9 (zh) * 2014-03-19 2021-06-15 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
US9769481B2 (en) * 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
US9769498B2 (en) 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
KR101603414B1 (ko) * 2014-03-28 2016-03-15 경희대학교 산학협력단 깊이 정보를 이용한 비디오 부호화 장치 및 그 방법
WO2015192314A1 (en) * 2014-06-17 2015-12-23 Mediatek Singapore Pte. Ltd. A simplified method for depth based block partitioning
JP2017518706A (ja) * 2014-06-18 2017-07-06 サムスン エレクトロニクス カンパニー リミテッド デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
WO2015192371A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Texture based depth coding method
WO2016006913A1 (ko) * 2014-07-08 2016-01-14 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
CN104284195B (zh) * 2014-10-11 2018-12-25 华为技术有限公司 三维视频中的深度图预测方法、装置、编码器和解码器
EP3266217B1 (en) * 2015-03-18 2020-01-08 HFI Innovation Inc. Method and apparatus for video or image decoding using palette coding mode and method for video or image coding
CN108476346B (zh) * 2016-01-13 2021-03-12 索尼公司 信息处理装置和信息处理方法
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
EP3489900A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
CN109255831B (zh) * 2018-09-21 2020-06-12 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
US11055901B2 (en) * 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
RU2753591C1 (ru) * 2020-10-23 2021-08-18 Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» Способ сжатия и хранения трехмерных данных (варианты)
WO2023118254A1 (en) * 2021-12-21 2023-06-29 Idac Holdings, Inc. Delineation map signaling

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617334A (en) 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
EP2232875A2 (en) 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
US20100295922A1 (en) * 2008-01-25 2010-11-25 Gene Cheung Coding Mode Selection For Block-Based Encoding
BRPI0911672A2 (pt) * 2008-04-25 2018-03-13 Thomson Licensing modos de pulo intervisualizações com profundidade
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
US20100278232A1 (en) * 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
BR112012008988B1 (pt) 2009-10-14 2022-07-12 Dolby International Ab Método, meio legível não transitório e aparelho para processamento de mapa de profundidade
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
EP2664144A1 (en) * 2011-01-14 2013-11-20 Motorola Mobility LLC Temporal block merge mode
US9319716B2 (en) * 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US9479743B2 (en) * 2011-06-01 2016-10-25 Gvbb Holdings S.A.R.L. Single lens 3-D camera

Also Published As

Publication number Publication date
EP2721823A4 (en) 2014-11-26
WO2012171477A1 (en) 2012-12-20
JP2014517563A (ja) 2014-07-17
US9918068B2 (en) 2018-03-13
KR20140004209A (ko) 2014-01-10
CN103621093A (zh) 2014-03-05
CN103621093B (zh) 2018-07-03
US20140085416A1 (en) 2014-03-27
CA2833032A1 (en) 2012-12-20
CA2833032C (en) 2016-08-30
EP2721823A1 (en) 2014-04-23
JP5872676B2 (ja) 2016-03-01
EP2721823B1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
JP5872676B2 (ja) ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置
US11539883B2 (en) Image data encoding/decoding method and apparatus
KR102014240B1 (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
US20240031603A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
JP6042536B2 (ja) ３ｄビデオ符号化におけるビュー間候補導出の方法と装置
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
US11831914B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
KR101737595B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
KR20200078646A (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
KR20180107007A (ko) 비디오 신호 처리 방법 및 장치
RU2784475C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101007318; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161228

Effective date: 20181018