KR20150112008A

KR20150112008A - 3차원 영상 부호화의 복잡성을 감소시킨 인터-뷰 잔여 예측 방법

Info

Publication number: KR20150112008A
Application number: KR1020157023332A
Authority: KR
Inventors: 이-웬 첸; 지안-리앙 린
Original assignee: 미디어텍 인크.
Priority date: 2013-06-11
Filing date: 2014-06-11
Publication date: 2015-10-06
Also published as: WO2014198222A1; US9883205B2; EP2932712A1; EP2932712A4; CN105122792B; US20150382020A1; KR101706314B1; CN105122792A

Abstract

진보형 잔여 예측(ARP)에서 동일한 모션을 가진 고속 양 예측 모드를 지원하는 3D 부호화 방법 및 장치가 개시된다. 모션 벡터 도출과 관련된 데이터 클리핑 및 참조 화상 선택을 포함한 하나 이상의 정렬된 동작이 잔여 예측변수 생성 중에 사용된다. ARP 모드가 인에이블된 때, 단일 예측 및 양 예측을 위한 잔여 예측 처리는 동일한 데이터 클리핑 처리 및 동일한 참조 화상 선택 처리를 효과적으로 수행한다. 단일 예측 및 양 예측 모두에 대하여 단일 클리핑 동작 또는 2개의 클리핑 동작이 수행될 수 있다.

Description

3차원 영상 부호화의 복잡성을 감소시킨 인터-뷰 잔여 예측 방법{METHOD OF INTER-VIEW RESIDUAL PREDICTION WITH REDUCED COMPLEXITY IN THREE-DIMENSIONAL VIDEO CODING}

관련 출원에 대한 교차 참조

본 출원은 "3D 영상 부호화를 위한 동일 모션 체킹을 지원하는 인터-뷰 잔여 예측 방법"의 명칭으로 2013년 6월 11일자 출원한 미국 가특허 출원 제61/833,747호 및 "3D 영상 부호화를 위한 인터-뷰 잔여 예측 방법"의 명칭으로 2013년 12월 27일자 출원한 미국 가특허 출원 제61/921,147호를 우선권 주장하며, 상기 미국 가특허 출원들은 인용에 의해 그 전체가 본원에 통합된다.

발명의 분야

본 발명은 3차원 및 다차원 영상 부호화(video coding)에 관한 것이다. 특히, 본 발명은 진보형 잔여 예측을 이용한 영상 부호화에 관한 것이다.

3차원(3D) 텔레비전은 최근에 시청자에게 감각적 시청 경험을 제공하도록 의도하는 것이 기술적 추세로 되고 있다. 각종 기술이 3D 시청이 가능하도록 개발되었다. 멀티뷰 영상은 다른 무엇보다도 특히 3DTV 응용을 위한 핵심 기술이다. 전통적인 영상은 카메라의 원근법으로부터 단일 뷰의 장면만을 시청자에게 제공하는 2차원(2D) 매체이다. 그러나, 멀티뷰 영상은 동적 장면의 임의의 관점(viewpoint)을 제공할 수 있고 시청자에게 현실주의의 감각을 제공한다. 3D 영상 포맷은 대응하는 텍스처 화상과 관련된 뎁스맵(depth map)을 또한 포함할 수 있다. 뎁스맵은 또한 3차원 뷰 또는 멀티뷰를 렌더링하기 위해 부호화되어야 한다.

3D 영상 부호화의 부호화 효율을 개선하기 위한 각종 기술이 업계에 공지되어 있다. 또한 부호화 기술을 표준화하기 위한 개발 활동이 있다. 예를 들면, 국제 표준화 기구(International Organization for Standardization, ISO) 내의 작업 그룹인 ISO/IEC JTC1/SC29/WG11은 HEVC(고효율 영상 부호화) 기반 3D 영상 부호화 표준(3D-HEVC라고 부름)을 개발중에 있다. 3D 부호화에 있어서, 모든 카메라는 상이한 관점으로부터 동일한 장면을 포착하기 때문에, 멀티뷰 영상은 다량의 인터-뷰(inter-view) 용장성을 내포한다. 인근 뷰의 미리 인코딩된 잔여 정보를 공유하기 위해, 현재 블록(PU)의 잔여 신호는 인터-뷰 화상에서 DV에 의해 위치가 정해진 대응 블록의 잔여 신호에 의해 예측될 수 있다.

도 1은 3D-HEVC(HTM-9.0)의 현재 설계에 따른 진보형 잔여 예측(advanced residual prediction, ARP)의 예를 보인 것이고, 이때 시간 예측(temporal prediction)을 이용하는 현재 뷰의 잔여 신호는 참조 뷰의 잔여 예측 신호에 의해 예측된다. ARP의 주 절차는 현재 예측 유닛(prediction unit, PU)이 시간 예측을 이용하는 경우(즉, 참조 화상은 시간 참조 화상이다)에 대하여 하기와 같이 설명할 수 있다.

1. 현재 뷰(Vc)의 참조 화상(140) 내의 시간 참조 블록(CurrRef(142))은 현재 뷰(Vc)의 현재 화상(110) 내의 현재 블록의 참조 인덱스 및 모션 벡터(mvLX(X=0 또는 1)로서 표시됨)를 이용하여 현재 블록(Curr(112))의 위치로부터 위치가 정해진다.

2. 현재 블록(Curr(112))에 대응하는 참조 뷰의 참조 화상(120) 내의 대응 블록(Base(122))은 현재 블록(Curr(112))의 도출된 변이 벡터(disparity vector, DV)를 이용하여 현재 블록(Curr(112))의 위치로부터 위치가 정해진다.

3. 참조 뷰(Vr)의 대응 블록(Base(122))에 대한 시간 참조 블록(BaseRef(152))은 현재 블록(Curr(112))의 시간 모션 정보(즉, mvLX 및 참조 인덱스)를 재사용함으로써 위치가 정해진다.

4. 메모리 접근의 대역폭을 줄이기 위해, 현재 블록으로부터의 모션 벡터(mvLX)는 가중 계수가 0이 아닐 때 현재의 3D-HEVC(HTM-9.0) 표준에 따라 모션 보상을 수행하기 전에 고정된 참조 화상 쪽으로 스케일링된다. 구체적으로, 고정된 참조 화상은 각 참조 화상 리스트의 제1 시간 참조 화상으로서 규정된다.

5. 현재 PU/블록의 시간 잔여 신호의 잔여 예측변수는 참조 뷰 내의 2개의 블록들 간의 차(즉, Base - BaseRef)로서 산출될 수 있다. 다시 말해서, 현재 잔여(Curr - CurrRef)는 잔여 예측변수(Base - BaseRef)에 의해 예측된다.

도 2는 시간 예측을 이용하여 부호화된 PU/블록에 대한 ARP 도출의 예를 보인 것이다.

1. 현재 시간 예측 잔여(Curr residual(210))는 현재 블록(Curr(112))과 대응하는 시간 참조 블록(CurrRef(142)) 사이에서 형성된다.

2. 잔여 예측 신호(Residual pred(220))는 참조 뷰(Base(122))의 대응하는 신호와 대응하는 시간 참조 블록(BaseRef(152)) 사이에서 형성된다.

3. 최종 잔여는 현재 잔여와 잔여 예측 신호 간의 차로부터 도출된다.

현재 PU가 시간 예측 대신에 인터-뷰 예측(즉, 참조 화상은 인터-뷰 참조 화상이다)을 이용할 때, ARP의 주 절차는 도 3에 도시된 것처럼 설명될 수 있다.

1. 참조 뷰(Vr)의 참조 뷰 화상(320)의 인터-뷰 참조 블록(Base(322))은 현재 뷰(Vc) 내의 현재 화상(310)의 현재 블록(Curr(312))의 변이 모션 벡터(330)에 의해 위치가 정해진다.

2. 참조 뷰 내의 인터-뷰 참조 블록(Base(322))의 시간 참조 블록(BaseRef(352))은 시간 모션 벡터(mvLX) 및 참조 인덱스를 이용하여 위치가 정해지고, 이때 L0 모션 정보가 우선적으로 사용되고; 만일 L0 모션 정보를 이용할 수 없으면, L1 모션 정보가 그 다음에 사용된다.

3. 현재 뷰 내의 대응하는 참조 블록(CurrRef(342))은 현재 블록(312))의 변이 모션 벡터(330)를 재사용함으로써 참조 뷰 내의 인터-뷰 참조 블록(Base(322))의 시간 참조 블록(BaseRef(352))의 위치로부터 위치가 정해진다.

4. 메모리 접근의 대역폭을 줄이기 위해, 현재의 3D-HEVC(HTM-9.0)에서, 인터-뷰 참조 블록(Base(322))으로부터의 모션 벡터(mvL0 또는 mvL1)는 가중 계수가 0이 아닐 때 모션 보상을 수행하기 전에 고정된 참조 화상 쪽으로 스케일링된다. 고정된 화상은 각 참조 화상 리스트의 제1 시간 참조 화상으로서 규정된다. 그러나, Base로부터의 mvL0가 무효일 때는 Base로부터의 모션 벡터 mvL1이 사용될 것이다. 만일 Base로부터의 mvL0 및 mvL1 둘 다가 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 현재 블록(리스트 0 또는 리스트 1)의 그 예측 방향의 제1 시간 참조 화상으로서 설정될 것이다. 인터-뷰 참조 블록(Base(322))으로부터의 모션 벡터는 인터-뷰 참조 블록(Base(322))가 L0 MV를 갖지 않는 경우 또는 인터-뷰 참조 블록(Base(322))에 대한 리스트 0 예측이 인터-뷰 변이 보상 예측인 경우에 무효로 될 수 있다.

5. 현재 PU/블록의 인터-뷰 잔여 신호의 잔여 예측변수는 참조 시간 내의 2개의 블록들 간의 차, 즉, 다른 접근 유닛(CurrRef - BaseRef)으로서 산출될 수 있다.

도 4는 인터-뷰 예측을 이용하여 PU/블록에 대한 ARP 도출의 예를 보인 것이다.

1. 현재 인터-뷰 예측 잔여(Curr residual(410))는 현재 블록(Curr(312))과 인터-뷰 참조 블록(Base(322)) 사이에서 형성된다.

2. 잔여 예측 신호(Residual pred(420))는 현재 뷰 내의 대응하는 참조 블록(CurrRef(342))과 참조 뷰 내의 인터-뷰 참조 블록(Base(322))의 시간 참조 블록(BaseRef(352)) 사이에서 형성된다.

도 5는 시간 예측을 이용한 PU/블록에 대한 ARP 도출의 그림 예를 보인 것이다. 블록 510은 현재 뷰(즉, 뷰 1)의 현재 블록을 표시하고, 블록 520과 블록 530은 시간 Tj에서 참조 뷰(뷰 0) 내의 현재 블록(510)의 표시 및 시간 Ti에서 동일 뷰(뷰 1)로부터의 현재 블록(510)의 시간 예측을 나타낸다. 모션 벡터(550)는 동일 뷰로부터 시간 Ti에서 현재 블록(510)으로부터 블록 530까지의 모션을 나타낸다. 뷰 1 내의 현재 블록(510) 및 뷰 0 내의 대응하는 블록(520)이 2개의 상이한 뷰 내의 동일 객체의 투영을 표시하기 때문에, 이들 2개의 블록은 동일한 모션 정보를 공유해야 한다. 그러므로, 시간 Ti에서 뷰 0 내의 시간 예측 블록(540)과 시간 Tj에서 뷰 0 내의 대응하는 블록(520)은 모션 벡터(550)의 모션 정보를 적용함으로써 뷰 0 내의 대응하는 블록(520)으로부터 위치가 정해질 수 있다(즉, MV 560 = MV 550). 그 다음에, 대응하는 블록(520)의 잔여(즉, 540)가 가중 계수와 승산되고 대응하는 블록(즉, 520)과 함께 사용되어 현재 블록(즉, 510)의 예측변수를 형성한다.

도 6은 현재 뷰(V1) 내의 현재 화상(610)의 현재 블록(612)에 대하여 2개의 상이한 모션 벡터(L0 MV(640) 및 L1 MV(650))를 가진 ARP 양 예측 모드의 예를 보인 것이다. 현재 뷰의 현재 화상 내의 현재 PU(612)의 모션 정보는 참조 뷰(V0)의 참조 화상(660) 내의 대응하는 블록(662)에 적용된다. 예측 잔여 신호는 그 다음에 현재 PU의 L0 및 L1 모션 정보에 기초하여 모션 보상을 수행함으로써 생성된다. 제1 잔여는 참조 뷰(V0) 내의 참조 화상(670)의 L0 참조 블록(672)과 대응 블록(662) 사이에서 L0 MV를 이용하여 생성된다. 제2 잔여는 참조 뷰(V0) 내의 참조 화상(680)의 L1 참조 블록(682)과 대응 블록(662) 사이에서 L1 MV를 이용하여 생성된다. L0 및 L1 예측 신호를 생성하는 동안에 단지 하나의 클리핑 동작만이 사용된다. L0 및 L1 모션 보상 예측 신호는 임의의 클리핑 동작 없이 보간 처리에 의해 각각 생성된다. 보간된 신호는 그 다음에 ARP에 의해 생성된 예측 잔여 신호가 가산된다. 최종 단계에서, L0 및 L1 예측 신호는 이어지는 클리핑 동작에 의해 가산되고 최종 결과로서 출력된다. 현재의 3D-HEVC(즉, HTM-9.0)에 따른 ARP 방식에서는 현재의 PU가 단일 예측 PU일 때 L0 또는 L1 예측 신호의 생성 중에 2개의 클리핑 동작이 적용된다. L0 또는 L1 모션 보상 예측 신호는 보간 처리 및 그 다음의 클리핑 동작(유효 범위의 입력 비트 깊이에 대한 클리핑)에 의해 최초로 생성된다. 클리핑된 신호는 그 다음에 ARP 및 그 다음에 제2 클리핑 동작에 의해 생성된 예측 잔여 신호에 의해 가산되어 최종 결과로서 출력된다.

더욱이, ARP에서, 참조 뷰(즉, V0) 내의 각 참조 리스트의 제1 시간 참조 화상은 도 6에 도시된 것처럼 대응하는 블록의 참조 화상으로서 선택된다. 현재 PU의 모션 벡터는 그 다음에 모션 보상을 수행함으로써 예측 잔여 신호를 생성하기 위해 참조 뷰 내의 대응 블록의 선택된 참조 화상 쪽으로 스케일링된다. 도 7은 현재 PU가 L0 및 L1에 대하여 동일한 모션 벡터(740)에 의해 양 예측되는 때의 경우를 보인 것이다. L0 및 L1에 대한 상이한 참조 화상에 기인하여 L0 및 L1에 대하여 상이한 예측 잔여 신호가 생성될 수 있다. 이 예에서는 L1 MV가 반대 방향으로 참조 화상(780) 내의 참조 블록(782)을 지시하도록 스케일링된다. 그 결과, 동일 방향의 참조 화상을 이용할 수 있을 때 MV를 반대 방향으로 참조 화상에 스케일함으로써 예측 성능의 감퇴를 가져올 수 있다.

현재의 3D-HEVC(즉, HTM-9.0)에 따르면, 만일 양 예측 모드에 대한 2개의 모션 벡터가 동일하면, 단일 예측 모드가 양 예측 모드와 동일한 결과를 생성하지 않기 때문에 양 예측 모드가 단일 예측 모드로서 단순화될 수 없다. 2개의 모션 벡터가 동일한 경우 단순화한 양 예측으로서 단일 예측의 장점을 취할 수 있는 새로운 ARP 절차를 개발하는 것이 바람직하다.

진보형 잔여 예측(ARP) 모드와 같은 잔여 예측 모드에서 동일한 모션을 가진 고속 양 예측 모드를 지원하는 3차원 또는 멀티뷰 영상 부호화를 위한 방법 및 장치가 개시된다. 본 발명의 실시형태는 잔여 예측변수 생성 중에 모션 벡터 도출과 관련된 데이터 클리핑 및 참조 화상 선택을 포함한 하나 이상의 정렬된 동작을 이용한다. 잔여 예측 모드가 인에이블되고 현재 블록이 단일 예측을 이용하여 부호화될 때, 시스템은 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만에 기초하여 현재 블록에 대한 잔여 신호를 생성하고 제1 잔여 생성 처리에 따라 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만을 이용하여 잔여 예측변수를 생성한다. 잔여 예측 모드가 인에이블되고 현재 블록이 양 예측을 이용하여 부호화될 때, 시스템은 리스트 0 참조 데이터와 리스트 1 참조 데이터 둘 다에 기초하여 현재 블록에 대한 잔여 신호를 생성한다. 시스템은 그 다음에 리스트 0 잔여 예측변수 및 리스트 1 잔여 예측변수로부터 잔여 예측변수를 생성하고, 이때 리스트 0 잔여 예측변수는 제2 잔여 생성 처리에 따라 현재 블록의 리스트 0 참조 데이터를 이용하여 생성되고, 리스트 1 잔여 예측변수는 제3 잔여 생성 처리에 따라 현재 블록의 리스트 1 참조 데이터를 이용하여 생성된다. 잔여 예측변수가 단일 예측의 경우와 양 예측의 경우 양자에 대하여 생성된 후, 시스템은 그 다음에 잔여 예측변수를 이용하여 현재 블록의 잔여 신호에 잔여 예측을 적용함으로써 현재 블록을 인코드 또는 디코드한다. 잔여 예측 모드에서 동일한 모션을 가진 고속 양 예측 모드를 지원하기 위해, 제1 잔여 생성 처리, 제2 잔여 생성 처리 및 제3 잔여 생성 처리는 모두 동일 데이터 클리핑 처리와 동일 참조 화상 선택 처리 중 적어도 하나를 포함한다. 예를 들면, 모든 잔여 생성 처리는 하나의 데이터 클리핑 또는 2개의 데이터 클리핑을 사용할 수 있다. 다른 실시형태에 있어서, 제2 잔여 생성 처리와 제3 잔여 생성 처리는 현재 블록의 리스트 0 모션 정보 및 리스트 1 모션 정보가 동일한 때 잔여 신호를 생성하기 위해 동일한 참조 화상을 선택할 수 있다.

현재 블록의 잔여 신호가 현재 블록과 현재 블록의 현재 시간 참조 블록 간의 시간 잔여 신호에 대응하는 경우, 현재 시간 참조 블록은 현재 블록의 MV(모션 벡터)로부터 도출된 제1 스케일링된 MV를 이용하는 현재 블록 위치에 기초하여 위치가 정해진다. 이 경우에, 잔여 예측변수는 참조 뷰 내의 대응하는 블록 및 참조 뷰 내의 대응하는 블록의 시간 참조 블록에 기초하여 생성된다. 참조 뷰 내의 대응하는 블록은 현재 블록 위치 및 도출된 변이 벡터(DV)에 기초하여 위치가 정해지고, 대응 블록의 시간 참조 블록은 현재 블록의 MV로부터 도출된 제1 스케일링된 MV를 이용하는 대응 블록 위치에 기초하여 위치가 정해진다. 현재 블록에 대한 잔여 신호가 현재 블록과 현재 블록의 현재 인터-뷰 참조 블록 간의 인터-뷰 잔여 신호에 대응하는 경우, 현재 인터-뷰 참조 블록은 현재 블록 위치 및 현재 블록의 DV(변이 벡터)에 기초하여 위치가 정해진다. 이 경우에, 잔여 예측변수는 참조 뷰 내의 현재 인터-뷰 참조 블록의 시간 참조 블록 및 현재 인터-뷰 참조 블록의 시간 참조 블록의 대응하는 참조 블록에 기초하여 생성된다. 현재 인터-뷰 참조 블록의 시간 참조 블록은 현재 인터-뷰 참조 블록의 MV(모션 벡터)로부터 도출된 제2 스케일링된 MV를 이용하는 현재 인터-뷰 참조 블록 위치에 기초하여 위치가 정해지고, 현재 인터-뷰 참조 블록의 시간 참조 블록의 대응하는 참조 블록은 현재 인터-뷰 참조 블록의 MV(모션 벡터)로부터 도출된 제2 스케일링된 MV를 이용하는 제1 위치에 기초하여 위치가 정해진다.

본 발명의 일 양태는 목표 참조 화상을 선택하는 각종 수단을 다룬다.

도 1은 시간 잔여 신호가 참조 뷰 내의 대응하는 잔여 신호에 의해 예측되는, 시간 예측을 이용하여 부호화된 블록에 대한 진보형 잔여 예측(ARP)의 예를 보인 도이다.
도 2는 시간 잔여 신호에 대한 진보형 잔여 예측의 예측 처리를 보인 도이다.
도 3은 인터-뷰 잔여 신호가 다른 접근 유닛(또는 다른 참조 시간)의 대응하는 잔여 신호에 의해 예측되는, 인터-뷰 예측을 이용하여 부호화된 블록에 대한 진보형 잔여 예측(ARP)의 예를 보인 도이다.
도 4는 인터-뷰 잔여 신호에 대한 진보형 잔여 예측의 예측 처리를 보인 도이다.
도 5는 시간 잔여 신호에 대한 진보형 잔여 예측의 예측 처리의 그림 예를 보인 도이다.
도 6은 리스트 0 및 리스트 1 모션 벡터가 다른 참조 화상을 지시하는, 양 예측에서 모션 정보 재사용의 예를 보인 도이다.
도 7은 리스트 0 및 리스트 1 모션 벡터가 동일하지만 2개의 상이한 목표 참조 화상이 종래의 접근법에 따라 선택된, 양 예측 모드에서 모션 정보 재사용의 예를 보인 도이다.
도 8은 리스트 0 및 리스트 1 모션 벡터가 동일하고 2개의 동일한 목표 참조 화상이 본 발명의 실시형태에 따라 선택된, 양 예측 모드에서 모션 정보 재사용의 예를 보인 도이다.
도 9는 본 발명의 일 실시형태에 따라 진보형 잔여 예측(ARP) 모드에서 동일 모션을 가진 고속 양 예측 모드를 지원하도록 정렬된 단일 예측 및 양 예측 처리를 통합한 3D 부호화 시스템의 예시적인 흐름도이다.

도면에서 일반적으로 설명되고 예시된 것처럼, 본 발명의 각종 컴포넌트는 각종의 상이한 구성으로 배열 및 설계될 수 있다는 것을 쉽게 이해할 것이다. 따라서, 도면에서 나타낸 것처럼, 본 발명의 시스템 및 방법의 실시형태에 대한 하기의 더 상세한 설명은 특허 청구범위에서 규정되는 본 발명의 범위를 제한하는 것으로 의도되지 않고, 단순히 본 발명의 선택된 실시형태를 나타낸 것이다.

이 명세서 전반에 걸쳐 인용되는 용어 "일 실시형태", "실시형태" 또는 유사한 용어는 그 실시형태와 관련하여 설명되는 특정의 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함될 수 있다는 것을 의미한다. 따라서, 본 명세서의 각 부분에서 "일 실시형태에 있어서" 또는 "실시형태에 있어서"라는 구의 출현은 모두 반드시 동일 실시형태를 인용하는 것이 아니다.

또한, 여기에서 설명하는 특징, 구조 또는 특성들은 하나 이상의 실시형태에서 임의의 적당한 방식으로 결합될 수 있다. 그러나, 관련 기술에 숙련된 사람이라면 본 발명이 하나 이상의 특정 세부 없이, 또는 다른 방법, 컴포넌트 등과 함께 실시될 수 있다는 것을 인식할 것이다. 다른 예로서, 잘 알려진 구조 또는 동작들은 발명의 양태를 불명료하게 하는 것을 피하기 위해 상세하게 도시하거나 설명하지 않는다.

발명의 예시된 실시형태들은 도면을 참조함으로써 최상으로 이해될 수 있을 것이고, 도면에 있어서 동일한 부분은 도면 전체에 걸쳐 동일한 번호로 표시된다. 하기의 설명은 단순히 예로서 의도되고, 청구되는 발명과 일치하는 장치 및 방법의 소정의 선택된 실시형태를 단순히 예시한다.

3D-HEVC(즉, HTM-9.0)에 대한 현재 참조 소프트웨어에 있어서, 양 예측을 위해 사용되는 2개의 모션 정보 집합이 동일한 참조 블록을 지칭할 때, 이것은 양 예측으로부터 단일 예측으로 인터 예측 방향을 변경하는 옵션을 제공한다. 그렇게 함으로써, 용장성 모션 보상의 연산 복잡성을 감소시킬 수 있다. 이것은 동일한 참조 데이터가 단일 예측 모드에서 1회만 접근될 것이기 때문에 시스템 메모리 대역폭 필요조건을 또한 감소시킬 것이다. 이 속성은 동일 모션 체크 또는 고속 양 예측이라고 부른다. 그럼에도 불구하고, 현재의 3D-HEVC에서는 단일 예측과 양 예측 간의 클리핑 동작이 동일하지 않기 때문에, 진보형 잔여 예측(ARP)이 상기와 같은 감소된 복잡성의 장점을 취할 수 없다.

그 외에, 전술한 바와 같이 ARP를 수행할 때, 현재 PU의 모션 벡터는 각각의 참조 화상 리스트의 제1 참조 화상 쪽으로 스케일링된다. 그렇게 함으로써, 동일한 모션 체크는 도 7에 도시된 바와 같이 상이한 리스트에 대하여 생성된 상이한 예측 신호에 기인하여 상이한 예측 결과를 또한 야기할 수 있다.

본 발명에서는 동일 모션 체크의 속성을 지원하는 각종 실시형태가 개시된다. 일 실시형태에 있어서, 동일 모션 체크 처리는 ARP가 가능한 CU(부호화 유닛) 또는 PU에 대하여 디스에이블된다. 그러나, 동일 모션 체크는 메모리 접근 대역폭을 절약하기 위해 비-ARP 가능 CU/PU에 대하여 여전히 수행될 수 있다.

다른 실시형태에 있어서, ARP 가능형 CU 또는 PU를 지원하기 위한 동일 모션 체크는 ARP가 인에이블 된 때 단일 예측과 양 예측 간의 동작들을 정렬함으로써 달성된다. 양 예측 모드 및 단일 예측 모드로부터 도출된 잔여 예측변수는 동일할 것이다. 그러므로, 동일 모션 체크의 속성은 ARP 가능형 CU/PU에 대하여 지원될 수 있다.

양 예측 모드 및 단일 예측 모드의 처리를 정렬하기 위해, 상기 2개의 예측 모드에 대한 클리핑 처리가 단일화된다. 단일화된 클리핑 처리를 통합한 각종 실시형태의 예를 이하에서 설명한다.

제1 실시형태: 2-클리핑 접근법. 양 예측 및 단일 예측 양자는 2개의 클리핑 동작이 동일하게 적용된다. 보간 필터에 의해 출력된 보간된 화소 및 잔여 신호는 제1 클리핑 동작이 적용된다. 그 다음에, 상기 클리핑된 화소 및 잔여 신호들은 함께 가산되고, 그 다음에 잔여 예측변수를 형성하기 위해 다른 클리핑이 적용된다. 양 예측인 경우에는 L0 및 L1에 대한 예측변수들이 평균화된다. 제3 클리핑 동작은 상기 평균화된 예측변수가 유효 범위 내에 있는 것을 보장하기 위해 적용될 수 있다. 그러나, 이 실시형태에서는 제3 클리핑 동작이 결과에 영향을 주지 않고 양 예측인 경우에 건너뛸 수 있다.

제2 실시형태: 1-클리핑 접근법. 양 예측 및 단일 예측 양자는 1개의 클리핑 동작이 동일하게 적용된다. 보간 필터에 의해 출력된 보간된 화소 및 잔여 신호는 직접 가산되고, 이때 동작은 더 높은 비트 깊이를 이용함으로써 고 정밀도로 수행될 수 있다. 단일 예측인 경우에는 모션 보상 신호와 잔여 신호를 함께 가산하는 최종 예측변수에 클리핑 동작이 적용된다. 양 예측인 경우에는 각 리스트(L0 및 L1)에 대한 최종 예측변수들이 평균화되고, 그 다음에 클리핑 동작이 적용된다.

전술한 바와 같이, 양 예측과 단일 예측 간의 상이한 클리핑 처리 외에, 현재 블록의 양측 모션 벡터가 동일한 경우에는 양 예측과 단일 예측에 대하여 선택된 참조 화상이 또한 다를 수 있다. 양 예측과 단일 예측 간의 상이한 참조 화상 도출의 문제는 하기의 실시형태에서 해결된다.

제3 실시형태: 시간 예측 ARP 모드에서 L0 및 L1 양자에 대한 베이스 뷰 내의 단일 참조 화상. 시간 예측이 현재 PU에 의해 사용될 때, 현재 블록의 L0 및 L1 MV 양자는 동일한 목표 참조 화상으로 스케일링된다. 이 실시형태에 따른 단일 참조 화상의 일부 예를 아래에 나타내었다.

1. 현재 뷰 내 현재 화상의 L0 참조 화상 리스트 내의 제1 참조 화상,

2. 현재 뷰 내 현재 화상의 L1 참조 화상 리스트 내의 제1 참조 화상,

3. 참조 뷰 내 현재 화상의 L0 참조 화상 리스트 내의 제1 참조 화상,

4. 참조 뷰 내 현재 화상의 L1 참조 화상 리스트 내의 제1 참조 화상,

5. 현재 뷰 또는 참조 뷰의 참조 화상 리스트 내의 임의의 다른 참조 화상.

제4 실시형태: 시간 예측 ARP 모드에 대한 최소 POC(picture order count, 화상 순서 카운트) 거리에 기초하여 선택된 베이스 뷰 내의 참조 화상. 시간 예측이 현재 PU에 의해 사용될 때, L0 예측 잔여 신호를 도출하기 위해, 현재 블록의 L0 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L0 참조 화상에 비하여 최소 POC 거리를 가진 목표 참조 화상으로 스케일링된다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, L0 내의 참조 화상(또는 현재 블록과 동일한 리스트 내의 참조 화상)이 먼저 사용된다. 잔여 예측변수는 그 다음에 목표 참조 화상 내의 Base 블록과 BaseRef 블록 간의 차로서 산출된다.

L1 예측 잔여 신호를 도출하기 위해, 현재 블록의 L1 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L1 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 0 내의 참조 화상(또는 현재 블록과 동일한 리스트 내의 참조 화상)이 먼저 사용된다. 잔여 예측변수는 그 다음에 목표 참조 화상 내의 Base 블록과 BaseRef 블록 간의 차로서 산출된다.

잔여 예측을 위한 시간 참조 화상의 집합은 예측 잔여 신호를 생성하도록 허용되는 참조 화상을 내포한다. 일례로서, L0 및 L1 내의 제1 시간 참조 화상만이 상기 집합 내에 포함된다.

도 8은 현재 PU(612)의 L0 및 L1 모션 벡터(740)가 동일하고 L0 내의 제1 시간 참조 화상 및 L1 내의 제1 시간 참조 화상이 모두 잔여 예측을 위한 시간 참조 화상의 집합 내에 있는 제4 실시형태의 예를 보인 것이다. L0 내의 참조 화상이 현재 PU의 L0 및 L1 참조 화상 각각에 비하여 최소 POC 거리를 갖기 때문에, L0 및 L1 예측 잔여 신호는 둘 다 L0 및 L1 MV를 L0 내의 제1 시간 참조 화상(670)으로 스케일링함으로써 생성된다. 따라서, 양 예측에 의해 생성된 참조 화상과 단일 예측으로부터의 참조 화상은 동일할 것이다.

제5 실시형태: 인터-뷰 예측 ARP 모드에서 L0 및 L1 양자에 대한 베이스 뷰 내의 단일 참조 화상. 인터-뷰 예측이 현재 PU에 의해 사용될 때, 현재 블록의 L0 및 L1 MV 양자는 동일한 목표 참조 화상으로 스케일링된다. 이 실시형태에 따른 단일 참조 화상의 일부 예를 아래에 나타내었다.

제6 실시형태: 인터-뷰 예측 ARP 모드에 대한 L0 및 L1 내의 제1 시간 참조 화상에 기초하여 선택된 베이스 뷰 내의 참조 화상. 인터-뷰 예측이 현재 PU에 의해 사용될 때, L0 예측 잔여 신호를 도출하기 위해, Base 블록의 L0 MV는 현재 블록의 L0 내의 제1 시간 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션이 사용된다(Base 블록의 L1 MV는 현재 블록의 L1 내의 제1 시간 참조 화상으로 스케일링된다). 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 L0 내의 제1 시간 참조 화상으로서 설정될 것이다.

L1 예측 잔여 신호를 도출하기 위해, Base 블록의 L0 MV는 현재 블록의 L0 내의 제1 시간 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션이 사용된다(Base 블록의 L1 MV는 현재 블록의 L1 내의 제1 시간 참조 화상으로 스케일링된다). 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 L0 내의 제1 시간 참조 화상으로서 설정될 것이다.

제7 실시형태: Base로부터의 mvL0 및 mvL1이 둘 다 무효인 경우를 다르게 취급하는 것을 제외하고 상기 제6 실시형태와 유사하다. 인터-뷰 예측이 현재 PU에 의해 사용될 때, L0 예측 잔여 신호는 다음과 같이 도출된다. Base 블록의 L0 MV는 현재 블록의 L0 내의 제1 시간 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션이 사용된다. 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 시간 참조 화상의 집합으로부터의 현재 블록의 L0 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 설정될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, L0 내의 참조 화상(또는 현재 블록과 동일한 리스트 내의 참조 화상)이 먼저 사용된다.

L1 예측 잔여 신호를 도출하기 위해, Base 블록의 L0 MV는 현재 블록의 L0 내의 제1 시간 참조 화상으로 스케일링된다(만일 L0 모션 정보를 이용할 수 없으면, L1 모션이 사용된다). 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 잔여 예측을 위한 시간 참조 화상의 집합으로부터의 현재 블록의 L1 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 설정될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 X(X는 0 또는 1일 수 있다) 내의 참조 화상 또는 동일한 리스트 내의 참조 화상이 먼저 사용된다. X를 표시하기 위해 플래그가 또한 시퀀스, 뷰, 화상, 슬라이스, CTU, CU, PU 레벨로 전송될 수 있다.

제8 실시형태: Base 블록의 L0 MV 및 L1 MV의 스케일링과 관련된 참조 화상 선택을 제외하고 역시 상기 제6 실시형태와 유사하다. 현재 PU가 인터-뷰 예측을 사용할 때, L0 예측 잔여 신호는 다음과 같이 생성된다. Base 블록의 L0 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L0 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션이 사용된다. 이 경우에, Base 블록의 L1 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L1 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터는 잔여 예측을 위한 시간 참조 화상의 집합으로부터의 현재 블록의 L0 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 설정될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 X(X는 0 또는 1일 수 있다) 내의 참조 화상 또는 동일한 리스트 내의 참조 화상이 먼저 사용된다. X를 표시하기 위해 플래그가 또한 시퀀스, 뷰, 화상, 슬라이스, CTU(Coding Tree Unit, 부호화 트리 유닛), CU(Coding Unit, 부호화 유닛), PU 레벨로 전송될 수 있다.

L1 예측 잔여 신호를 도출하기 위해, Base 블록의 L0 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L0 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션 정보가 사용된다. 이 경우에, Base 블록의 L1 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 블록의 L1 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 잔여 예측을 위한 시간 참조 화상의 집합으로부터의 현재 블록의 L1 참조 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 설정될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 X(X는 0 또는 1일 수 있다) 내의 참조 화상 또는 현재 블록의 동일한 리스트 내의 참조 화상이 먼저 사용된다. X를 표시하기 위해 플래그가 또한 시퀀스, 뷰, 화상, 슬라이스, CTU, CU, PU 레벨로 전송될 수 있다.

제9 실시형태: L0 MV 또는 L1 MV를 이용할 수 없을 때 최소 POC 거리의 결정을 제외하고 상기 제8 실시형태와 유사하다. 인터-뷰 예측이 현재 PU에 의해 사용될 때, L0 예측 잔여 신호는 다음과 같이 생성된다. Base 블록의 L0 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 L0 모션 정보를 이용할 수 없으면, L1 모션 정보가 사용된다. 이 경우에, Base 블록의 L1 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 잔여 예측을 위한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로서 선택될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 X(X는 0 또는 1일 수 있다) 내의 참조 화상 또는 동일한 리스트 내의 참조 화상이 먼저 사용된다. X를 표시하기 위해 플래그가 또한 시퀀스, 뷰, 화상, 슬라이스, CTU, CU, PU 레벨로 전송될 수 있다.

L1 예측 잔여 신호는 다음과 같이 도출될 수 있다. Base 블록의 L1 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 L1 모션 정보를 이용할 수 없으면, L0 모션이 사용된다. 이 경우에, Base 블록의 L0 MV는 잔여 예측에 대한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로 스케일링된다. 만일 Base로부터의 mvL0 및 mvL1이 둘 다 무효이면, 제로 벡터가 사용될 것이고, 참조 화상은 잔여 예측을 위한 시간 참조 화상의 집합 내에 있고 현재 화상에 비하여 최소 POC 거리를 가진 참조 화상으로서 선택될 것이다. 2개 이상의 참조 화상이 최소 POC 거리를 갖는 경우, 리스트 X(X는 0 또는 1일 수 있다) 내의 참조 화상 또는 동일한 리스트 내의 참조 화상이 먼저 사용된다. X를 표시하기 위해 플래그가 또한 시퀀스, 뷰, 화상, 슬라이스, CTU, CU, PU 레벨로 전송될 수 있다.

상기 방법을 위하여, 잔여 예측을 위한 시간 참조 화상의 집합은 예측 잔여 신호를 생성하도록 허용되는 참조 화상을 내포한다. 일 예에 있어서, L0 및 L1 내의 제1 시간 참조 화상만이 상기 집합 내에 포함된다. 다른 예에 있어서, 최소 QP(양자화 파라미터)를 가진 L0 내의 하나의 시간 참조 화상 및 최소 QP를 가진 L1 내의 하나의 시간 참조 화상만이 상기 집합 내에 포함된다. 상기 방법을 위하여, 리스트 X(X는 0 또는 1일 수 있다) 내의 제1 참조 화상을 이용할 수 없을 때 다른 리스트(1-X) 내의 제1 참조 화상을 대신 사용할 수 있다.

본 발명의 실시형태를 통합한 3D 또는 멀티뷰 영상 부호화 시스템의 성능은 표 1 내지 표 3에 나타낸 바와 같이 HTM-10.0에 기초한 종래 시스템의 성능과 비교된다. 표 1은 ARP의 단일 예측 및 양 예측을 위해 단일화 클리핑만을 이용하는 시스템의 결과에 대응한다. 표 2는 참조 화상 선택 처리만을 이용하는 시스템의 결과에 대응한다. 표 1 및 표 2에 대응하는 시스템은 본 발명의 부분 특징만을 통합한다. 표 3은 본 발명의 일 실시형태에 따라 단일화 클리핑 및 정렬된 참조 화상 선택 처리 양자를 이용하는 시스템의 결과에 대응한다. 표 4의 시스템은 시스템이 단일화 클리핑 및 정렬된 참조 화상 선택 처리 양자를 이용하지만 디코더에서 고속 양 예측이 디스에이블되는 앵커 시스템과 비교된다는 점을 제외하면 표 3의 시스템과 동일하다. BD-레이트의 음의 값은 새로운 시스템이 앵커 시스템보다 더 좋은 성능을 갖는다는 것을 암시한다. 뷰 1(영상 1), 뷰 2(영상 2), 텍스처 영상만(영상/영상 비트레이트), 텍스처 영상에 대한 총 비트레이트(텍스처 비트레이트 및 뎁스 비트레이트)(영상/총 비트레이트), 및 부호화 및 합성 영상에 대한 총 비트레이트(합성/총 비트레이트)에서 텍스처 화상에 대한 BD-레이트 차는 모든 경우에 작다. 표 3에서의 BD-레이트 차는 본 발명의 실시형태에 따른 단일화 클리핑 및 정렬된 참조 화상 선택에 기인하여 감퇴를 보이지 않는다. 인코딩 시간, 디코딩 시간 및 렌더링 시간과 관련한 런 타임은 대략 동일하다. 그러므로, 본 발명에 따른 실시형태(표 3)는 고속 양 예측을 허용함으로써 성능 손실의 페널티 없이 시스템 대역폭을 감소시킬 수 있다.

도 9는 본 발명의 실시형태에 따른 3차원 또는 멀티뷰 영상 부호화 시스템의 예시적인 흐름도이다. 시스템은 현재 종속 뷰에서 현재 화상의 현재 블록과 관련된 입력 데이터를 수신한다(단계 910). 이 입력 데이터는 현재 블록의 텍스처 데이터 또는 부호화 텍스처 데이터에 대응할 수 있다. 입력 데이터는 컴퓨터 메모리, 버퍼(RAM 또는 DRAM) 또는 다른 매체와 같은 기억장치로부터 검색될 수 있다. 입력 데이터는 또한 컨트롤러, 중앙 처리 장치, 디지털 신호 프로세서 또는 입력 데이터를 도출하는 전자 회로와 같은 프로세서로부터 수신될 수 있다. 잔여 예측 모드가 인에이블되고 현재 블록이 단일 예측을 이용하여 부호화되는지에 대한 테스트가 수행된다(단계 920). 만일 결과가 긍정이면, 단계 930, 940 및 980이 수행된다. 그렇지 않으면, 단계 950에서 추가의 테스트가 수행된다. 단계 930에서, 현재 블록에 대한 잔여 신호가 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만에 기초하여 생성된다. 단계 940에서, 잔여 예측변수가 제1 잔여 생성 처리에 따라 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만을 이용하여 생성된다. 단계 980에서, 잔여 예측변수를 이용하여 현재 블록의 잔여 신호에 잔여 예측을 적용함으로써 현재 블록이 인코딩 또는 디코딩된다. 단계 950에서, ARP 모드가 인에이블이고 현재 블록이 양 예측을 이용하여 부호화되는지에 대한 테스트가 수행된다. 만일 결과가 긍정이면, 단계 960, 970 및 980이 수행된다. 그렇지 않으면, 처리가 종료된다. 단계 960에서, 현재 블록에 대한 잔여 신호가 리스트 0 참조 데이터 및 리스트 1 참조 데이터 양자에 기초하여 생성된다. 단계 970에서, 리스트 0 잔여 예측변수 및 리스트 1 잔여 예측변수로부터 잔여 예측변수가 생성되고, 이때 리스트 0 잔여 예측변수는 제2 잔여 생성 처리에 따라 현재 블록의 리스트 0 참조 데이터를 이용하여 생성되고 리스트 1 잔여 예측변수는 제3 잔여 생성 처리에 따라 현재 블록의 리스트 1 참조 데이터를 이용하여 생성된다. 제1 잔여 생성 처리, 제2 잔여 생성 처리 및 제3 잔여 생성 처리는 모두 동일 데이터 클리핑 처리 및 동일 참조 화상 선택 처리 중 적어도 하나를 포함한다.

전술한 흐름도는 본 발명의 실시형태를 통합한 3차원 또는 멀티뷰 영상 부호화 시스템의 예를 보인 것으로 의도된다. 이 기술에 숙련된 사람이라면 본 발명의 정신으로부터 벗어나지 않고 본 발명을 실시하도록 각 단계를 수정하거나, 각 단계를 재배열하거나, 단계를 분할하거나, 단계들을 결합할 수 있을 것이다.

전술한 설명은 이 기술에 통상의 지식을 가진 사람이 특수 응용 및 그 필요조건과 관련하여 제공된 것처럼 본 발명을 실시할 수 있도록 하기 위해 제시된다. 이 기술에 숙련된 사람이라면 전술한 실시형태에 대한 각종 수정이 가능할 것이고, 여기에서 규정하는 일반적인 원리는 다른 실시형태에도 적용될 수 있다. 그러므로, 본 발명은 여기에서 도시하고 설명한 특정 실시형태로 제한되지 않고, 여기에서 설명한 원리 및 신규 특징과 일치하는 최광의의 범위로 해석되어야 한다. 전술한 상세한 설명에 있어서, 각종의 특정 세부는 본 발명의 완전한 이해를 제공하기 위해 예시된 것이다. 그럼에도 불구하고, 본 발명이 실시될 수 있다는 것을 이 기술에 숙련된 사람이라면 이해할 것이다.

전술한 의사 잔여 예측 및 DV 또는 MV 추정 방법이 영상 인코더에서뿐만 아니라 영상 디코더에서도 사용될 수 있다. 전술한 바와 같은 본 발명에 따른 의사 잔여 예측 방법은 각종의 하드웨어, 소프트웨어 코드 또는 이들의 조합으로 구현될 수 있다. 예를 들면, 본 발명의 실시형태는 여기에서 설명한 처리를 수행하도록 영상 압축 칩에 집적된 회로 또는 영상 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 또한 여기에서 설명한 처리를 수행하도록 디지털 신호 프로세서(DSP)에서 실행되는 프로그램 코드일 수 있다. 본 발명은 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서 또는 현장 프로그램가능 게이트 어레이(FPGA)에 의해 수행되는 다수의 기능을 또한 수반할 수 있다. 이러한 프로세서들은 본 발명에 의해 구현되는 특수 방법들을 규정하는 기계 판독가능 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 상기 소프트웨어 코드는 다른 타겟 플랫폼용으로 또한 컴파일될 수 있다. 그러나, 소프트웨어 코드의 상이한 코드 포맷, 스타일 및 언어, 및 본 발명에 따른 태스크를 수행하도록 코드를 구성하는 다른 수단은 본 발명의 정신 및 범위로부터 벗어나지 않을 것이다.

본 발명은 그 정신 또는 본질적 특성으로부터 벗어나지 않고 다른 특정 형태로 구현될 수 있다. 전술한 예들은 모든 점에서 예시하는 것이지 제한하는 것이 아닌 것으로 생각하여야 한다. 그러므로, 본 발명의 범위는 전술한 상세한 설명보다는 첨부된 특허 청구범위에 의해 규정된다. 특허 청구범위의 균등물의 수단 및 범위 내에 있는 모든 변화들은 본 발명의 범위 내에 포함되어야 한다.

Claims

3차원(3D) 또는 멀티뷰 부호화 시스템에서의 잔여 예측 방법에 있어서,
현재 종속 뷰 내의 현재 화상의 현재 블록과 관련된 입력 데이터를 수신하는 단계와;
잔여 예측 모드가 인에이블되고 현재 블록이 단일 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만에 기초하여 생성하는 단계; 및 제1 잔여 생성 처리에 따라 상기 리스트 0 참조 데이터 또는 상기 리스트 1 참조 데이터만을 이용하여 잔여 예측변수를 생성하는 단계와;
상기 잔여 예측 모드가 인에이블되고 상기 현재 블록이 양 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 상기 리스트 0 참조 데이터 및 상기 리스트 1 참조 데이터 양자에 기초하여 생성하는 단계; 및 리스트 0 잔여 예측변수 및 리스트 1 잔여 예측변수 - 상기 리스트 0 잔여 예측변수는 제2 잔여 생성 처리에 따라 상기 현재 블록의 상기 리스트 0 참조 데이터를 이용하여 생성되고, 상기 리스트 1 잔여 예측변수는 제3 잔여 생성 처리에 따라 상기 현재 블록의 상기 리스트 1 참조 데이터를 이용하여 생성됨 - 로부터 상기 잔여 예측변수를 생성하는 단계와;
상기 잔여 예측변수를 이용하여 상기 현재 블록의 상기 잔여 신호에 잔여 예측을 적용함으로써 상기 현재 블록을 인코딩 또는 디코딩하는 단계
를 포함하고,
상기 제1 잔여 생성 처리, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는 모두, 동일 데이터 클리핑 처리 및 동일 참조 화상 선택 처리 중 적어도 하나를 포함하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제1항에 있어서, 상기 제1 잔여 생성 처리, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는 모두, 하나의 데이터 클리핑 동작 또는 2개의 데이터 클리핑 동작을 이용하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제1항에 있어서, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는, 상기 현재 블록의 리스트 0 모션 정보와 리스트 1 모션 정보가 동일할 때, 상기 잔여 신호를 생성하기 위하여 동일한 참조 화상을 선택하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제1항에 있어서, 상기 현재 블록의 잔여 신호는 상기 현재 블록과 상기 현재 블록의 현재 시간 참조 블록 간의 시간 잔여 신호에 대응하고, 상기 현재 시간 참조 블록은 상기 현재 블록의 MV(motion vector, 모션 벡터)를 이용하는 현재 블록 위치에 기초하여 위치 결정되고,
상기 현재 블록의 잔여 신호는 상기 현재 블록과 상기 현재 블록의 현재 인터-뷰(inter-view) 참조 블록 간의 인터-뷰 잔여 신호에 대응하고, 상기 현재 인터-뷰 참조 블록은 상기 현재 블록 위치 및 상기 현재 블록의 DV(disparity vector, 변이 벡터)에 기초하여 위치 결정되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제4항에 있어서, 상기 시간 잔여 신호의 상기 잔여 예측변수는, 참조 뷰 내의 대응 블록 및 상기 참조 뷰 내의 대응 블록의 시간 참조 블록에 기초하여 생성되고,
상기 인터-뷰 잔여 신호의 상기 잔여 예측변수는, 상기 참조 뷰 내의 현재 인터-뷰 참조 블록의 시간 참조 블록 및 상기 현재 인터-뷰 참조 블록의 시간 참조 블록의 대응하는 참조 블록에 기초하여 생성되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 참조 뷰 내의 대응 블록은 현재 블록 위치 및 도출된 변이 벡터(DV)에 기초하여 위치 결정되고, 상기 대응 블록의 상기 시간 참조 블록은 상기 현재 블록의 MV로부터 도출된 제1 스케일링된 MV를 이용하는 대응 블록 위치에 기초하여 위치 결정되며;
현재 인터-뷰 참조 블록의 시간 참조 블록은, 현재 인터-뷰 참조 블록의 모션 벡터(MV)로부터 도출된 제2 스케일링된 MV를 이용하는 현재 인터-뷰 참조 블록 위치에 기초하여 위치 결정되고, 상기 현재 인터-뷰 참조 블록의 시간 참조 블록의 대응하는 참조 블록은, 상기 현재 블록의 DV를 이용하는 상기 현재 인터-뷰 블록의 시간 참조 블록의 제1 위치에 기초하여 위치 결정되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제6항에 있어서, 상기 현재 블록의 MV로부터 도출된 상기 제1 스케일링된 MV 또는 상기 현재 인터-뷰 참조 블록으로부터 도출된 상기 제2 스케일링된 MV에 의해 지시된 목표 참조 화상은,
현재 종속 뷰 내 현재 화상의 리스트 0 참조 화상 리스트 내의 제1 참조 화상;
상기 현재 종속 뷰 내 현재 화상의 리스트 1 참조 화상 리스트 내의 제1 참조 화상;
상기 참조 뷰 내 현재 화상의 리스트 0 참조 화상 리스트 내의 제1 참조 화상;
상기 참조 뷰 내 현재 화상의 리스트 1 참조 화상 리스트 내의 제1 참조 화상; 및
상기 현재 종속 뷰 또는 상기 참조 뷰의 상기 리스트 0 참조 화상 리스트 또는 상기 리스트 1 참조 화상 리스트 내의 임의의 다른 참조 화상
으로 이루어진 그룹으로부터 선택되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 시간 잔여 신호에 대한 잔여 예측변수를 도출하는 동안, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 잔여 예측을 도출하기 위해 시간 참조 화상의 집합 내의 선택된 참조 화상에 상기 현재 블록의 리스트 0 MV 또는 리스트 1 MV를 각각 스케일링(scaling)함으로써 도출되고, 상기 선택된 참조 화상은, 상기 현재 블록의 리스트 0 또는 리스트 1 참조 화상에 비하여 각각 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 하나보다 많은 선택된 참조 화상이 최소 POC 거리를 갖는 경우에는 리스트 0 또는 상기 현재 블록과 동일한 리스트 내의 상기 선택된 참조 화상이 먼저 사용되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제8항에 있어서, 상기 리스트 0 및 리스트 1에 대한 시간 참조 화상의 집합은, 각각 상기 리스트 0 또는 상기 리스트 1 내의 선두(leading) 시간 참조 화상만, 또는 상기 리스트 0 또는 상기 리스트 1 내에서 각각 최소 QP(Quantization Parameter, 양자화 파라미터)를 가진 하나의 시간 참조 화상만을 포함하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제8항에 있어서, 하나보다 많은 선택된 참조 화상이 최소 POC 거리를 갖는 경우 상기 리스트 0, 상기 리스트 1 또는 상기 현재 블록과 동일한 리스트 내의 선택된 참조 화상이 먼저 사용되고, 리스트 선택을 표시하기 위해 플래그가 시퀀스, 뷰, 화상, 슬라이스, CTU(coding tree unit, 부호화 트리 유닛), CU(coding unit, 부호화 유닛), PU(prediction unit, 예측 유닛) 레벨로 전송되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제8항에 있어서, 상기 리스트 0 또는 상기 리스트 1 내의 선두 시간 참조 화상이 이용 불가인 경우, 다른 리스트 내의 선두 시간 참조 화상이 이용되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 인터-뷰 잔여 신호에 대한 잔여 예측변수를 도출하는 동안, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 참조 뷰 내 현재 화상의 리스트 0 참조 화상 리스트 내의 제1 시간 참조 화상에 상기 현재 인터-뷰 참조의 리스트 0 MV를 스케일링함으로써 도출되고, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 현재 인터-뷰 참조의 리스트 0 MV가 무효인 경우, 상기 참조 뷰 내 현재 화상의 리스트 1 참조 화상 리스트 내의 제1 시간 참조 화상에 상기 현재 인터-뷰 참조의 리스트 1 MV를 스케일링함으로써 도출되며, 상기 리스트 0 MV 및 상기 리스트 1 MV가 둘 다 무효인 경우, 제로 MV가 사용되고, 상기 참조 뷰 내 현재 화상의 리스트 0 참조 화상 리스트 내의 상기 제1 시간 참조 화상이 상기 참조 화상으로서 선택되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 인터-뷰 잔여 신호에 대한 잔여 예측변수를 도출하는 동안, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 참조 뷰 내 현재 화상의 리스트 0 참조 화상 리스트 내의 제1 시간 참조 화상에 상기 현재 인터-뷰 참조의 리스트 0 MV를 스케일링함으로써 도출되고, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 현재 인터-뷰 참조의 리스트 0 MV가 무효인 경우, 상기 참조 뷰 내 현재 화상의 리스트 1 참조 화상 리스트 내의 선두 시간 참조 화상에 상기 현재 인터-뷰 참조의 리스트 1 MV를 스케일링함으로써 도출되며, 상기 리스트 0 MV 및 상기 리스트 1 MV가 둘 다 무효인 경우, 제로 MV가 사용되고, 선택된 참조 화상이 결정되며, 상기 선택된 참조 화상은 유효이고 상기 현재 블록의 리스트 0 참조 화상 또는 리스트 1 참조 화상에 비하여 각각 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 하나보다 많은 선택된 참조 화상이 최소 POC 거리를 갖는 경우에는, 리스트 0 또는 상기 현재 블록과 동일한 리스트 내의 선택된 참조 화상이 먼저 사용되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 인터-뷰 잔여 신호에 대한 잔여 예측변수를 도출하는 동안, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 잔여 예측을 도출하기 위해 시간 참조 화상의 집합 내의 선택된 참조 화상에 상기 현재 인터-뷰 참조 블록의 리스트 0 MV를 스케일링함으로써 도출되고, 상기 선택된 참조 화상은, 상기 현재 블록의 리스트 0 참조 화상에 비하여 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 리스트 0 MV가 무효인 경우, 상기 선택된 참조 화상에 상기 현재 인터-뷰 참조 블록의 리스트 1 MV를 스케일링함으로써 도출되고, 상기 리스트 0 MV 및 상기 리스트 1 MV가 둘 다 무효인 경우, 제로 MV가 사용되고, 상기 선택된 참조 화상이 결정되며, 상기 선택된 참조 화상은 유효이고 상기 현재 블록의 리스트 0 참조 화상 또는 리스트 1 참조 화상에 비하여 각각 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 하나보다 많은 선택된 참조 화상이 최소 POC 거리를 갖는 경우에는, 리스트 0 또는 상기 현재 블록과 동일한 리스트 내의 선택된 참조 화상이 먼저 사용되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
제5항에 있어서, 상기 인터-뷰 잔여 신호에 대한 잔여 예측변수를 도출하는 동안, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 잔여 예측을 도출하기 위한 시간 참조 화상의 집합 내의 선택된 참조 화상에 상기 현재 인터-뷰 참조 블록의 리스트 0 MV를 스케일링함으로써 도출되고, 상기 선택된 참조 화상은, 상기 현재 화상에 비하여 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 상기 리스트 0 잔여 예측변수 또는 상기 리스트 1 잔여 예측변수는, 상기 리스트 0 MV가 무효인 경우, 상기 선택된 참조 화상에 상기 현재 인터-뷰 참조 블록의 리스트 1 MV를 스케일링함으로써 도출되고, 상기 리스트 0 MV 및 상기 리스트 1 MV가 둘 다 무효인 경우, 제로 MV가 사용되고, 상기 선택된 참조 화상이 결정되며, 상기 선택된 참조 화상은 유효이고 상기 현재 화상에 비하여 최소 POC(Picture Order Count, 화상 순서 카운트) 거리를 가지며, 하나보다 많은 선택된 참조 화상이 최소 POC 거리를 갖는 경우에는, 리스트 0 또는 상기 현재 블록과 동일한 리스트 내의 선택된 참조 화상이 먼저 사용되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.
3차원(3D) 또는 멀티뷰 부호화 시스템에서의 잔여 예측 장치에 있어서,
현재 종속 뷰 내의 현재 화상의 현재 블록과 관련된 입력 데이터를 수신하고;
잔여 예측 모드가 인에이블되고 상기 현재 블록이 단일 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만에 기초하여 생성하고, 제1 잔여 생성 처리에 따라 상기 리스트 0 참조 데이터 또는 상기 리스트 1 참조 데이터만을 이용하여 잔여 예측변수를 생성하며;
상기 잔여 예측 모드가 인에이블되고 상기 현재 블록이 양 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 상기 리스트 0 참조 데이터 및 상기 리스트 1 참조 데이터 양자에 기초하여 생성하고, 리스트 0 잔여 예측변수 및 리스트 1 잔여 예측변수 - 상기 리스트 0 잔여 예측변수는 제2 잔여 생성 처리에 따라 현재 블록의 리스트 0 참조 데이터를 이용하여 생성되고, 상기 리스트 1 잔여 예측변수는 제3 잔여 생성 처리에 따라 현재 블록의 리스트 1 참조 데이터를 이용하여 생성됨 - 로부터 잔여 예측변수를 생성하며;
상기 잔여 예측변수를 이용하여 상기 현재 블록의 잔여 신호에 잔여 예측을 적용함으로써 상기 현재 블록을 인코딩 또는 디코딩하도록
구성된 하나 이상의 전자 회로를 포함하고,
상기 제1 잔여 생성 처리, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는 모두, 동일 데이터 클리핑 처리 및 동일 참조 화상 선택 처리 중 적어도 하나를 포함하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 장치.
제16항에 있어서, 상기 제1 잔여 생성 처리, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는 모두, 하나의 데이터 클리핑 동작 또는 2개의 데이터 클리핑 동작을 이용하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 장치.
제16항에 있어서, 상기 제2 잔여 생성 처리 및 상기 제3 잔여 생성 처리는, 현재 블록의 리스트 0 모션 정보와 리스트 1 모션 정보가 동일할 때, 상기 잔여 신호를 생성하기 위하여 동일한 참조 화상을 선택하는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 장치.
제16항에 있어서, 상기 현재 블록의 잔여 신호는, 상기 현재 블록과 상기 현재 블록의 현재 시간 참조 블록 간의 시간 잔여 신호에 대응하고, 상기 현재 시간 참조 블록은 상기 현재 블록의 MV(motion vector, 모션 벡터)를 이용하는 현재 블록 위치에 기초하여 위치 결정되고,
상기 현재 블록의 잔여 신호는, 상기 현재 블록과 상기 현재 블록의 현재 인터-뷰 참조 블록 간의 인터-뷰 잔여 신호에 대응하고, 상기 현재 인터-뷰 참조 블록은, 상기 현재 블록 위치 및 상기 현재 블록의 DV(disparity vector, 변이 벡터)에 기초하여 위치 결정되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 장치.
3차원(3D) 또는 멀티뷰 부호화 시스템에서의 잔여 예측 방법에 있어서,
현재 종속 뷰 내의 현재 화상의 현재 블록과 관련된 입력 데이터를 수신하는 단계와;
잔여 예측 모드가 인에이블되고 상기 현재 블록이 단일 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 리스트 0 참조 데이터 또는 리스트 1 참조 데이터만에 기초하여 생성하는 단계; 및 상기 리스트 0 참조 데이터 또는 상기 리스트 1 참조 데이터만을 이용하여 잔여 예측변수를 생성하는 단계와;
상기 잔여 예측 모드가 인에이블되고 상기 현재 블록이 양 예측을 이용하여 부호화될 때, 상기 현재 블록에 대한 잔여 신호를 상기 리스트 0 참조 데이터 및 상기 리스트 1 참조 데이터 양자에 기초하여 생성하는 단계; 및 리스트 0 잔여 예측변수 및 리스트 1 잔여 예측변수 - 상기 리스트 0 잔여 예측변수는 상기 현재 블록의 리스트 0 참조 데이터를 이용하여 생성되고, 상기 리스트 1 잔여 예측변수는 상기 현재 블록의 리스트 1 참조 데이터를 이용하여 생성됨 - 로부터 잔여 예측변수를 생성하는 단계와;
상기 잔여 예측변수를 이용하여 상기 현재 블록의 잔여 신호에 잔여 예측을 적용함으로써 상기 현재 블록을 인코딩 또는 디코딩하는 단계
를 포함하고,
상기 잔여 예측 모드가 인에이블된 경우 동일한 모션 체크 처리가 상기 현재 블록에 대하여 디스에이블되고, 상기 동일한 모션 체크 처리는 상기 잔여 예측 모드가 디스에이블된 블록에 대해서만 수행되는 것인, 3차원 또는 멀티뷰 부호화 시스템의 잔여 예측 방법.