KR20150122690A - 변이 움직임 벡터의 도출, 그러한 도출을 이용한 3d 비디오 코딩 및 디코딩 - Google Patents

변이 움직임 벡터의 도출, 그러한 도출을 이용한 3d 비디오 코딩 및 디코딩 Download PDF

Info

Publication number
KR20150122690A
KR20150122690A KR1020157025488A KR20157025488A KR20150122690A KR 20150122690 A KR20150122690 A KR 20150122690A KR 1020157025488 A KR1020157025488 A KR 1020157025488A KR 20157025488 A KR20157025488 A KR 20157025488A KR 20150122690 A KR20150122690 A KR 20150122690A
Authority
KR
South Korea
Prior art keywords
list
motion vectors
motion vector
mutation
function
Prior art date
Application number
KR1020157025488A
Other languages
English (en)
Other versions
KR102208951B1 (ko
Inventor
엘리에 가브리엘 모라
조엘 정
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20150122690A publication Critical patent/KR20150122690A/ko
Application granted granted Critical
Publication of KR102208951B1 publication Critical patent/KR102208951B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상(Ik)을 디코딩하는 방법에 관한 것으로서, 본 디코딩 방법은 변이 움직임 벡터를 도출하는 단계(D3)를 포함하며, 본 디코딩 방법은, 도출 단계 동안에, - 적어도 2개의 변이 움직임 벡터가 2개의 상이한 추정 방법에 따라서 각각 획득된, 변이 움직임 벡터에 대한 적어도 하나의 목록(L1)를 구성하며(S1), - 상기 목록의 적어도 2개의 변이 움직임 벡터에 함수를 적용하는(S3) 단계를 포함하는 것을 특징으로 한다. 그러한 방법은 MVV 또는 MVD 유형의 현재 영상(U)에 적용가능하다.

Description

변이 움직임 벡터의 도출, 그러한 도출을 이용한 3D 비디오 코딩 및 디코딩{DERIVATION OF DISPARITY MOTION VECTOR, 3D VIDEO CODING AND DECODING USING SUCH DERIVATION}
본 발명은 일반적으로 3차원(3D) 영상 처리 분야에 관한 것으로서, 특히 3D 디지털 영상 및 3D 디지털 영상의 시퀀스의 코딩 및 디코딩에 관한 것이다. 특히, 본 발명은 상이한 카메라로부터의 영상의 코딩/디코딩을 실행하는 3D 비디오 어플리케이션에 관한 것으로서, 이에 한정되는 것은 아니다.
본 발명은 특히, 통용되는 AVC 및 HEVC 비디오 코더 및 이들의 확장(MVC, 3D-AVC, MV-HEVC, 3D-HEVC 등)에서 실행되는 비디오 코딩 및 그에 대응하는 디코딩에 적용될 수 있지만, 이에 한정되는 것은 아니다.
비디오의 3D 표현은 단일 입체 장치의 2개의 상이한 카메라에 의해서 기록되는 동일 장면(입체 포맷)에 대한 2개의 뷰(view)를 다중화함으로써 얻을 수 있다.
일반적으로 2가지 유형의 코딩, 즉 MFC 및 MVC (각각, "멀티뷰 프레임 호환 코딩" 및 "멀티뷰 비디오 코딩")이 2개의 뷰 사이에 존재하는 중복성(redundancy)을 활용함으로써 2개의 뷰로 이루어진 영상을 코딩하는데 사용된다.
현재 입체 코딩 포맷이 시장을 지배하고 있지만, 3DTV 또는 FTV와 같은 새로운 3D 비디오 서비스의 개발은 3차원 장면의 보다 유려한 표현을 필요로 하며, 이는 하나의 3D 장치에서 2 이상의 뷰를 동시에 다중화함으로써 획득될 수 있다. 이를 위해, 상이한 시점으로부터의 적어도 3개의 영상이 획득되고, 인코딩된 후 MVV("멀티뷰 비디오") 포맷에 따라서 전송될 수 있으며, MVC 코딩은 이러한 영상을 코딩하기 위해서 사용될 수 있다. 그러나, MVC 코딩에 따른 비용은, 특히 시점의 수가 많을수록, 높다.
MVD("멀티뷰 비디오 + 심도(depth)")로 지칭되는, 새로운 비디오 코딩 포맷이 현재 개발되고 있다. 이러한 포맷에 따라서, 텍스처 카메라(texture camera)에 더해서 심도 카메라(depth camera)가 사용된다. 소정 영상의 각각의 텍스처 성분은 그 영상의 심도 성분과 연관되어 있다. 코딩 후 전송 후에, 재구성된 텍스처 및 심도 성분이 필요한 수의 중간 장면을 생성하는 합성기(synthesizer)로 전송될 수 있다. 심도 성분이 갖는 장점은 이들이 순수하게 휘도 채널로 이루어지며, 주로 경계에 의해서 분리되는 매끈한 영역(smooth regions)으로 이루어진다는 것이다. 따라서, 이들은 텍스처 성분에 비해서 코딩하는데 비용이 덜 든다. 더욱이, 코딩 효율을 개선하기 위해서, 2개의 텍스처 성분 사이 또는 2개의 심도 성분 사이의 상호관계, 및 1개의 텍스처 성분과 1개의 심도 성분 사이의 상호관계는, MVD 포맷에 따라서, 예를 들면 3DVC("3D 비디오 코딩") 코덱과 같은 것에 의해서, 활용될 수 있다.
더욱이, 또한 코딩 효율을 향상시키기 위해서, 이미 코딩된 후 디코딩된 블록으로부터의 코딩 정보의 함수로서, 현재 블록을 위한 코딩 정보의 예측을 위한 표준이 제공된다.
한 가지 유형의 코딩 정보는 예를 들어 이전 순간의 동일 뷰에 대한 현재 순간의 뷰의 움직임을 기술하는 시간 움직임 벡터이다.
AMVP("고급 움직임 벡터 예측") 모드는 현재 장면의 현재 블록의 시간 움직임 벡터를 예측하기 위한 후보인 시간 움직임 벡터의 목록을 소개한다. 비트 속도-왜곡 기준 측면에서 현재 블록의 움직임 벡터와 상기 목록의 최적 후보 시간 움직임 벡터 사이의 차이(잔여분) 및 이러한 최적 후보 벡터를 표시하는 색인(index)만이 상기 디코더에 전송되어, 현재 블록의 시간 움직임 벡터에 연계되는 정보의 전송 비용을 줄인다.
MERGE 모드는 예를 들어 시간 움직임 벡터와 같은 현재 블록의 코딩 정보 아이템을 예측하는 것을 회피한다. MERGE 모드는 실질적으로 현재 뷰의 현재 블록이 현재 블록의 이웃 블록과 각각 연관된 시간 움직임 벡터들을 포함할 수 있는 후보 시간 움직임 벡터의 목록으로부터 선택된 시간 움직임 벡터로부터 직접 상속받을 수 있게 하고, 여기서 상기 이웃 블록은 이미 코딩된 후 디코딩되었거나 현재 블록에 대응하는 블록과 각각 연관되며 이전에 코딩 후 디코딩된 프레임에 포함된다. 현재 블록에 대응하는 그러한 블록은 또한 종래 기술에서 동일 위치 블록(colocated block)으로 지칭된다. 후보 벡터의 목록으로부터 상속받아 선택되는 현재 블록의 시간 움직임 벡터는 동일한 원리가 디코딩에 적용될 수 있는 만큼 코딩될 필요는 없다.
현재 준비되는 3D-HEVC("3D-고효율 비디오 코딩") 표준에서는, 예측 및 상속을 채용하는 기술이 제안된다.
3D-HEVC 표준은, 특히, AMVP 모드 또는 MERGE 모드의 후보 시간 움직임 벡터의 목록에, 다음과 같은 다른 유형의 움직임 벡터를 추가할 수 있게 한다:
- 변이 움직임 벡터로부터 연산된 시간 움직임 벡터, 여기서 후보 움직임 벡터는 "멀티뷰 후보"로 지칭됨;
- 변이 움직임 벡터.
그 자체로 공지된 바와 같이, 변이 움직임 벡터는 시점간 예측(interview prediction)의 맥락에서 사용되는 움직임 벡터이다. 그것은 현재의 종속 뷰의 현재 블록과 사전에 코딩 및 디코딩된 베이스 뷰 내의 이러한 현재 블록에 대응하는 블록 사이의 움직임을 기술하는 움직임 벡터이며, 현재 종속 뷰 및 베이스 뷰는 각각 동일 순간의 동일 장면을 나타낸다.
또한 그러한 변이 움직임 벡터는 현재 뷰 내의 현재 블록의 시점간 잔여 예측의 맥락에서 사용할 수 있다. 이러한 예측에 따라서, 사전에 코딩 및 디코딩된 베이스 뷰에서, 현재 종속 뷰의 현재 블록에 대응하며 현재 블록의 변이 움직임 벡터에 의해서 지시되는 블록에 대해서 검색이 실행된다. 이러한 대응하는 블록의 잔여물은 이어서 현재 블록의 잔여물을 예측하도록 연산된다.
장래의 3D-HEVC 표준에서 사용될 수 있는 상이한 변이 움직임 벡터 도출 방법이 있다.
"DMDV("심도 맵 변이 벡터")로 지칭되는 제1 방법은 각각의 종속 뷰에 대한 심도 맵을 평가하고, 이어서 평가된 심도 맵의 동일 위치 블록 내 최대 심도 값에 해당하는 변이 움직임 벡터를 선택하는 것으로 이루어진다. 이러한 제1 방법의 단점은 연산 및 기억 측면에서 비용이 비싸다는 점이다.
NBDV("이웃 변이 벡터")로 지칭되는 제2 방법은 현재 뷰의 코딩되어야 하는 현재 블록에 대해서, 5개의 공간 블록을 고려하며, 현재 뷰의 현재 블록과 2개의 시간 블록을 이웃시키며, 사전에 코딩 및 디코딩된 2개의 기준 프레임 내의 현재 블록을 이웃시키는 것으로 이루어진다. 5개의 이웃 블록은 현재 블록의 바로 아래 좌측에 위치하는 블록(A0), 블록(A0)의 바로 아래에 위치하며 현재 블록의 바닥 좌측에 위치하는 블록(A1), 현재 블록의 바로 위 우측에 위치하는 블록(B0), 블록(B0)에 이웃하며 현재 블록의 바로 위에 위치하는 블록(B1), 및 현재 블록의 바로 위 좌측에 위치하는 블록(B2)이다. 2개의 시간 블록은 현재 블록에 대응하는 블록의 중앙에 위치한 중앙 블록(CENTER block) 및 현재 블록에 대응하는 블록의 바로 아래 우측에 배치된 RB 블록이다. 이러한 제2 방법에 따른 변이 움직임 벡터 도출 방법은 블록(A0, A1, B0, B1, B2), CENTER1(제1 기준 프레임), CENTER2(제2 기준 프레임), RB1(제1 기준 프레임) 및 RB2(제2 기준 프레임) 중 하나가 변이 움직임 벡터와 연관되는지 여부를 점검하는 것으로 이루어진다. 그러한 점검은 다음의 특정 순서로 실행된다: 제1 종속 뷰에 대해서 CENTER1, RB1, CENTER2, RB2, A1, B1, B0, A0, B2, 및 제2 종속 뷰에 대해서 RB1, CENTER1, RB2, CENTER2, A1, B1, B0, A0, B2. 제1 변이 벡터가 상기 언급된 점검 순서로 이러한 블록 중 하나에 대해서 발견되자마자, 그것은 최종 도출된 변이 벡터로서 선택된다. 이어서 점검되어야 할 블록이 더 있더라도 점검이 중지된다.
점검이 완료되면, 변이 움직임 벡터가 발견되지 않을 수도 있다. 이 경우에, 블록 A0, A1, B0, B1, B2로부터 고려되며 AMVP 또는 MERGE 모드에 따라서 움직임 예측을 이용하여 코딩된 블록에 대해서, 이러한 블록에 연관된 시간 움직임 벡터는 도입부에서 설명된 바와 같이, 멀티뷰 후보가 이러한 블록을 코딩하는데 선택되었으면 변이 움직임 벡터의 도출을 수반했을 수 있다. 이어서 제2 방법에 따른 변이 움직임 벡터 도출 방법은 공간 블록 A0, A1, B0, B1, B2 중 하나가 변이 움직임 벡터로부터 연산된 시간 움직임 벡터와 연관되는지 여부를 점검하는 것으로 이루어진다. 그러한 점검은 다음의 특정 순서로 실행된다: A0, A1, B0, B1, B2. 변이 움직임 벡터로부터 연산된 시간 움직임 벡터가 전술한 점검 순서로 블록 중 하나와 연관된 것으로 밝혀지면, 이러한 시간 움직임 벡터를 도출하는데 사용되는 변이 움직임 벡터는 최종 도출 변이 움직임 벡터로서 선택된다.
이러한 제2 도출 방법의 단점은, 경우에 따라서, 발견되거나 판독된 제1 변이 움직임 벡터가 현재 블록을 코딩 또는 디코딩하는 효율을 최적화시키는 움직임 벡터가 아닐 수도 있다는 점이다.
제3 도출 방법은, 소위 FCO("플렉서블 코딩 오더(Fexible Coding Order)")라는 도구를 이용하여, 현재 뷰가 MVD 유형의 포맷을 가지며 그 심도 성분이 그 텍스처 성분 전에 코딩된 경우에 이용할 수 있다. 이를 위해, 현재 뷰의 텍스처 성분의 현재 블록의 변이 움직임 벡터를 도출하기 위해서, 다음의 단계가 실행된다:
- 현재 텍스처 성분과 연관되는 코딩된 후에 디코딩된 심도 성분에서 심도상으로 동일 위치에 있는 블록을 결정,
- 심도 성분에서 심도상으로 동일 위치에 있는 블록 내의 최대 심도 값에 해당하는 변이 움직임 벡터를 결정,
- 최종 변이 움직임 벡터로서 결정된 변이 움직임 벡터를 선택.
그러한 도출 방법의 단점은 그것이 반드시 텍스처 성분 및 심도 성분을 포함하는 뷰에 제한된다는 점이다. 더욱이, 그것은 예를 들어, 시간 움직임 벡터를 도출하는데 이용되는 변이 움직임 벡터와 같은, 다른 유형의 변이 움직임 벡터를 고려하지 않는다.
제4 도출 방법은 전술한 제2 방법 NBDV를 이용하여 획득된 최종 변이 움직임 벡터를 세련(refine)하는 것으로 이루어진다. 이러한 방법은 DoNBDV("심도 지향 이웃 변이 벡터")로 지칭된다. 그러한 방법은 현재 뷰가 MVD 유형의 포맷을 가지며 그 텍스처 성분이 그 심도 성분 전에 코딩된 경우에 이용한다. 최종 변이 움직임 벡터는 이어서 사전에 코딩 및 디코딩된 베이스 뷰의 심도 블록을 결정하는데 이용되며, 이는 현재 뷰의 현재 텍스처 블록에 대응한다. 새로운 최종 변이 움직임 벡터 DoNBDV는 이처럼 결정된 심도 블록의 최대 심도 값에 해당한다.
그러한 도출 방법의 단점은 그것이 반드시 텍스처 성분 및 심도 성분을 포함하는 뷰에 제한된다는 것이다. 더욱이, 그것이 제2 방법으로부터 도출되므로, 자체적인 특정 단점을 상속받는다.
문헌 J. Kang, Y. Chen, L. Zhang 및 M. Karczewicz, "3D-CE2.h related: Enhanced disparity vector derivation", ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11 JCT3V-C0050에 제안된 제5 도출 방법은 전술한 제2 도출 방법을 개선하기 위한 것이다. 이를 위해, 다음의 특정 순서: CENTER1, RB1, CENTER2, RB2, A1, B1, B0, A0, B2 (제1 종속 뷰) 또는 RB1, CENTER1, RB2, CENTER2, A1, B1, B0, A0, B2 (제2 종속 뷰)의 순서로 블록을 점검하는 동안에, 다음이 저장되게 된다:
- SDVC("공간 변이 벡터 후보자"(Spatial Disparity Vector Candidates))로 지칭되는 제1 목록의 최대 3개의 공간 변이 움직임 벡터, 및
- TDVC("시간 변이 벡터 후보자"(Temporal Disparity Vector Candidates))로 지칭되는 제2 목록의 최대 3개의 공간 변이 움직임 벡터.
상기 점검이 완료되면 많은 경우가 생길 수 있다.
제1 경우에, 상기 점검을 완료하면, 변이 움직임 벡터가 발견되지 않을 수 있다. 이러한 경우, 최종 변이 움직임 벡터는, 다음 순서, 즉, A0, A1, B0, B1, B2의 순서로 공간 블록과 연관된 시간 움직임 벡터를 도출하는데 사용되는 제1 변이 움직임 벡터를 선택함으로써, 제2 방법에서와 같은 방법으로 획득된다.
제2 경우에, SDVC 또는 TDVC 벡터이든지, 단일 변이 움직임 벡터가 저장된다. 이어서 이 단일 저장된 벡터는 최종 변이 움직임 벡터로서 선택된다.
제3 경우에, 단지 2개의 변이 움직임 벡터가 저장되었으면, 즉, 2개의 SDVC 벡터 또는 2개의 TDVC 벡터, 또는 하나의 SDVC 벡터와 하나의 TDVC 벡터가 저장되었으면, 2개의 벡터 중 더 큰 것이 최종 변이 움직임 벡터로서 선택된다.
제4 경우에, 3개 이상의 변이 움직임 벡터가 저장되었으면, 중앙 함수(median function)가 메모리에서 판독된 2개의 제1 TDVC 벡터 및 메모리에서 판독된 제1 SDVC 벡터에 적용된다. 이어서 결과 벡터는 최종 변이 움직임 벡터로서 선택된다. 충분한 TDVC(각각 SDVC) 벡터가 없으면, 제1 SDVC(각각 TDVC) 벡터가 중간 함수에 대한 입력으로서 이용된다.
최종 변이 움직임 벡터의 선택이, 단일 변이 움직임 벡터만을 유지하는 제2 도출 방법과는 대조적으로, 하나 또는 2개의 목록에 포함된 복수의 변이 움직임 벡터로부터 획득되더라도, 이러한 제5 방법의 단점은 TDVC 벡터의 제2 목록과 똑같이, SDVC 벡터의 제1 목록이 시점간 예측의 맥락에서 사용되는 변이 움직임 벡터만을 포함한다는 것이다. 다시 말해서, 제5 방법에 따른 도출 방법은 복수의 균일 변이 움직임 벡터에만 기초한다. 제1 및 제2 목록 중 어느 것도, 예를 들어, 시간 움직임 벡터가 도출되는 유형과 같은, 다른 유형의 변이 벡터를 포함하지 않는다. 그러므로 이러한 제5 방법에 따른 변이 움직임 벡터를 선택하는 것은 최선이 아니다.
본 발명의 목적 중 하나는 전술한 종래 기술의 단점을 해결하는 것이다.
이를 위해서, 본 발명의 한 가지 목적은 변이 움직임 벡터 도출 방법에 관한 것이다.
그러한 도출 방법은,
- 적어도 2개의 변이 움직임 벡터가 2개의 상이한 추정 방법에 따라서 각각 획득된, 변이 움직임 벡터에 대한 적어도 하나의 목록을 구성하며,
- 함수를 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 적용하는
단계를 포함한다는 점에 주목할 만하다.
변이 벡터의 적어도 하나의 목록에 포함된 변이 움직임 벡터의 다양성을 고려하면, 최종 변이 벡터의 선택은 목록 당 단지 한 가지 유형의 변이 벡터를 제안하는 종래 기술에서 실행되는 것보다 훨씬 정교하게 이루어진다.
그러한 규정은, 변이 움직임 벡터가 예를 들어, MVV 또는 MVD 유형의 포맷을 갖는 현재 영상의 움직임을 예측하도록 선택될 것 같은 일련의 움직임 벡터에 부가되도록 할 때 특히 유리한 것으로 보이며, 예측이 더 신뢰성이 있고 더 정확하기 때문이다. 그 결과 현재 영상을 더 효율적으로 코딩하고 디코딩할 수 있게 된다.
또한 그러한 규정은 도출 방법으로부터 획득된 변이 움직임 벡터가 멀티뷰 영상의 뷰의 현재 블록의 잔여분을 예측하는 데 이용되는 경우에 유리한 것으로 보이며, 이는 이러한 예측을 보다 신뢰성 있고 보다 정확하게 한다.
특정 실시예에 따르면, 복수의 변이 움직임 벡터의 목록이 구성되고, 그러한 복수의 목록이 2개의 상이한 추정 방법에 따라 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 전술한 적용 단계는 함수를 상기 목록의 적어도 2개의 변이 움직임 벡터 및 적어도 하나의 다른 목록의 적어도 하나의 변이 움직임 벡터 둘 다에 적용하는 것으로 이루어진다.
이러한 특정 실시예의 대안으로서, 복수의 변이 움직임 벡터의 목록이 구성되고, 그러한 복수의 목록이 2개의 상이한 추정 방법에 따라 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 전술한 적용 단계는,
- 함수를 상기 목록의 적어도 2개의 변이 움직임 벡터에 적용하며, 제1 변이 움직임 벡터를 전달하며,
- 함수를 각각의 다른 목록들의 적어도 하나의 변이 움직임 벡터에 적용하며, 복수의 다른 변이 움직임 벡터를 전달하며,
- 함수를 전달된 제1 변이 움직임 벡터 및 전달된 상기 다른 변이 움직임 벡터 둘 다에 적용하는 것으로 이루어진다.
그러한 규정은, 최종 변이 벡터의 획득을 최적화하기 위해서, 변이 움직임 벡터의 복수의 목록을 제안함으로써 변이 움직임 벡터의 선택 및 다양성을 증가시킬 수 있다. 이러한 다양한 목록 중에서, 일부는 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터를 포함하고, 다른 일부는 동일한 추정 방법에 따라서 획득된 변이 움직임 벡터만을 포함하는, 수 개의 목록이 공존할 수 있다.
다른 특정 실시예에 따르면, 함수를 적용하는 단계 전에, 적어도 하나의 목록에서, 변이 움직임 벡터의 수를 제한하는 것으로 이루어지는 단계가 실행된다.
그러한 규정은 코더 및 디코더 내에서의 연산 및 메모리 자원을 절약하는 장점이 있다.
이러한 다른 특정 실시예의 제1 변형예에 따르면, 전술한 제한 단계는 예를 들면, 적어도 하나의 변이 움직임 벡터의 목록에서 벡터의 수를, 최대 Ki 엘리먼트(element)로 제한하는 것으로 이루어진다.
이러한 다른 특정 실시예의 제2 변형예에 따르면, 전술한 제한 단계는
- 적어도 하나의 변이 움직임 벡터의 목록에서, 적어도 2개의 변이 움직임 벡터가 크기 및 배향에 대해서 중복되는지 여부를 점검하며,
- 상기 점검이 긍정적이면, 목록으로부터 상기 2개의 벡터 중 하나를 소거하는 것으로 이루어진다.
그러한 제2 변형예는, 고려되는 적어도 하나의 변이 움직임 벡터, 즉 크기 및 배향이 같거나 유사한 적어도 하나의 변이 움직임 벡터의 목록에서, 소거에 의해서 최종 변이 움직임 벡터의 획득 속도를 높일 수 있고, 함수는 더 적은 수의 변이 벡터에 적용된다.
이러한 다른 특정 실시예의 제3 변형예에 따르면, 상기 제한 단계는, 상기 제1 변형예 제한 단계의 실행에 이어서 벡터의 수에 있어서 사전에 감소된 적어도 하나의 변이 움직임 벡터의 목록에 적용된다는 점에서 상기 제2 변형예와는 구별된다.
그러한 제3 변형예에서는 최종 변이 움직임 벡터의 획득 속도를 더 높일 수 있는데, 이는 규격이 사전에 감소한 적어도 하나의 변이 움직임 벡터의 목록에 적용되기 때문이다.
본 발명은 또한 전술한 도출 방법을 실행하기 위한 변이 움직임 벡터 도출 장치에 관한 것이다.
그러한 도출 장치는
- 적어도 하나의 변이 움직임 벡터의 목록을 구성하는 수단으로서, 전술한 목록은 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터를 포함하며,
- 함수를 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 적용하는 수단을 포함하는 점에 주목할 만하다.
본 발명은 또한 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상을 디코딩하는 방법에 관한 것으로서, 그러한 디코딩 방법은 변이 움직임 벡터의 도출 단계를 포함한다.
그러한 디코딩 방법은 전술한 도출 단계가 본 발명에 따른 도출 방법에 따라서 실행된다는 점에서 주목할 만하다.
본 발명은 또한 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상을 디코딩하는 장치에 관한 것으로서, 그러한 장치는 전술한 디코딩 방법을 실행하도록 구성되며 변이 움직임 벡터 도출 수단을 포함한다.
그러한 디코딩 장치는 전술한 도출 수단이 본 발명에 따른 도출 장치에 포함된다는 점에서 주목할 만하다.
본 발명은 또한 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상을 코딩하는 방법에 관한 것으로서, 그러한 코딩 방법은 변이 움직임 벡터의 도출 단계를 포함한다.
그러한 코딩 방법은 전술한 도출 단계가 본 발명에 따른 도출 방법에 따라서 실행된다는 점에서 주목할 만하다.
본 발명은 또한 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상을 코딩하는 장치에 관한 것으로서, 그러한 장치는 전술한 코딩 방법을 실행하도록 구성되며 변이 움직임 벡터 도출 수단을 포함한다.
그러한 코딩 장치는 전술한 도출 수단이 본 발명에 따른 도출 장치에 포함된다는 점에서 주목할 만하다.
본 발명은 또한, 컴퓨터에서 실행될 때, 본 발명에 따른 도출 방법, 코딩 방법 또는 디코딩 방법을 실행하기 위한 명령을 포함하는 컴퓨터 프로그램에 관한 것이다.
이러한 프로그램은 임의의 프로그래밍 언어를 사용하며, 부분적으로 컴파일된 형태, 또는 임의의 다른 바람직한 형태와 같이, 소스 코드, 목적 코드 또는 소스 코드와 목적 코드 사이의 중간 코드의 형태가 될 수 있다.
본 발명은 또한 컴퓨터 프로그램이 저장되는 컴퓨터-판독가능한 저장 매체에 관한 것으로서, 이러한 프로그램은 전술한 바와 같이, 본 발명에 따른 코딩 또는 디코딩 방법을 실행하는데 적합한 명령을 포함한다.
상기 저장 매체는 프로그램을 저장할 수 있는 임의의 개체 또는 장치가 될 수 있다. 예를 들어, 상기 매체는 ROM, 예를 들면, CD ROM 또는 마이크로전자 회로 ROM, 또는 USB 키나 하드 디스크와 같은 자기 저장 수단과 같은 저장 수단을 포함할 수 있다.
또한, 상기 저장 매체는 무선 또는 다른 수단에 의해서 전기 또는 광 케이블을 통해서 라우팅(route)될 수 있는 전기 또는 광 신호와 같은 전송가능한 매체가 될 수 있다. 본 발명에 따른 프로그램은 특히 인터넷 유형의 망에서 다운로드될 수 있다.
대안적으로, 상기 저장 매체는 프로그램이 통합되는 집적 회로가 될 수 있으며, 상기 회로는 전술한 코딩 또는 디코딩 방법을 실행하거나 실행에 사용되도록 구성된다.
전술한 코딩 장치 및 대응하는 컴퓨터 프로그램은 적어도, 본 발명에 따른 코딩 방법에 의해서 획득되는 것과 같은 장점을 제공한다.
전술한 대응하는 도출 장치, 디코딩 방법, 디코딩 장치, 코딩 방법, 코딩 장치, 컴퓨터 프로그램 및 저장 매체는 적어도, 본 발명에 따른 도출 방법에 의해서 획득되는 것과 같은 장점을 제공한다.
다른 특징 및 장점은 다음의 도면을 참조하여 기술된 바람직한 실시예를 읽으면 명백해 질 것이다.
- 도 1은 본 발명에 따른 도출 방법의 단계들을 나타낸다.
- 도 2는 본 발명에 따른 도출 장치의 일 실시예를 나타낸다.
- 도 3은 본 발명에 따른 코딩 방법의 단계를 나타낸다.
- 도 4는 도 3에 나타난 코딩 방법을 실행하는데 적합한 코딩 장치의 일 실시예를 나타낸다.
- 도 5는 본 발명에 따른 디코딩 장치의 일 실시예를 나타낸다.
- 도 6은 도 5에 나타난 디코딩 장치에서 실행되는데 적합한 디코딩 단계를 나타낸다.
이제 본 발명의 일 실시예가 설명되는데, 본 발명에 따른 변이 움직임 벡터 도출 방법은, 예를 들어, 현재 준비중인 3D-HEVC 표준에 맞는 코딩/디코딩에 의해서 획득되는 것에 가까운 이진 스트림에 따른 영상 또는 일련의 영상의 코딩/디코딩의 경우에 실행되도록 되어 있다.
이를 위해, 고려되는 영상 또는 영상들은 예를 들면, MVV 또는 MVD 포맷일 수 있다.
이러한 실시예에서, 본 발명에 따른 도출 방법은 예를 들면, 소프트웨어 또는 하드웨어에 의해서 초기에 3D-HEVC 표준에 맞는 코더/디코더에 포함되는 도출 장치로 수정되어 실행된다. 본 발명에 따른 도출 방법은 도 1에 표시된 바와 같이 단계 S1 내지 S3를 포함하는 알고리즘의 형태로 표시된다.
본 발명의 상기 실시예에 따르면, 본 발명에 따른 도출 방법은 도 2에 표시된 도출 장치 DER에서 실행된다.
도 2에 도시된 바와 같이, 그러한 도출 장치는 버퍼 메모리(MT_DER)를 포함하는 메모리(MEM_DER), 예를 들어 마이크로프로세서(μP)를 구비하고 본 발명에 따른 도출 방법을 실행하는 컴퓨터 프로그램(PG_DER)에 의해서 구동되는 처리 장치(UT_DER)를 포함한다. 초기화에서, 컴퓨터 프로그램(PG_DER)의 코드 명령은, 예를 들어, 상기 처리 장치(UT_DER)의 프로세서에 의해서 실행되기 전에 RAM 메모리로 적재된다.
도 1에 표시된 도출 방법은 코딩되는 일련의 영상(SI)의 MVV 또는 MVD 유형의 임의의 현재 영상에 적용된다.
도 1을 참조하면, 단계 S1 동안에, 변이 움직임 벡터의 목록, 또는 1≤i≤M인 변이 움직임 벡터 L1, L2,..., Li,..., LM의 복수의 목록이 구성된다. 상기 단일 목록 또는 m 목록 중에서 적어도 하나의 목록 Li는 상이한 유형의 2개의 변이 움직임 벡터 DVa 및 DVb를 포함하며, 다시 말해서 2개의 상이한 추정 방법에 따라서 각각 획득된 것을 포함한다.
벡터 DVa 및 DVb는 예를 들면 본 발명의 설명의 도입부에 설명된 다음 도출 방법 중 하나의 종료 때 획득되었을 수 있다. 즉,
- DMDV,
- DCP ("변이-보상 예측"(Disparity-Compensated Prediction)), 시간 동일 위치 블록 CENTER1, RB1, RB2, CENTER2를 고려한 후에, 또는 공간 이웃 블록 A1, B1, B0, A0, B2를 고려한 후에,
- NBDV,
- FCO,
- DoNBDV,
- 등등...
변형예로서, 전술한 목록에서, 위에서 열거된 도출 방법 중 하나에 따라서 획득된 변이 움직임 벡터의, x 상의 또는 y 상의 하나 이상의 화소에 의한, 전환에 의해서 획득된 적어도 하나의 변이 움직임 벡터를 고려하는 것이 가능하다. 그러하다면, 이것은 전환되어 도출된 움직임 벡터이다.
예를 들어 단일 목록 L1이 구성되는 경우에, 상기 목록은 예를 들면, 6개의 변이 움직임 벡터 DV11, DV12, DV13, DV14, DV15, DV16을 포함하며, 여기서,
- DV11은 전술한 DMDV 도출 방법에 따라서 획득되었으며,
- DV12 및 DV13은 변이-보상 예측 DCP를 이용하여 획득되었으며,
- DV14 및 DV15는 전술한 NBDV 도출 방법에 따라서 획득되었으며,
- DV16은 전술한 DoNBDV 도출 방법에 따라서 획득되었다.
예를 들어 여러 목록, 예를 들어 3개의 목록 L1, L2 및 L3이 구성되는 경우에, 상기 목록 중 적어도 하나는 상이한 유형의 적어도 2개의 변이 움직임 벡터를 포함한다. 이 예에서, 2개의 목록 L1 및 L3는 각각 상이한 유형의 적어도 2개의 변이 움직임 벡터를 포함한다. 목록 L1 내지 L3는 다음과 같이 구성된다. 즉,
- L1은 예를 들면, 네 개의 변이 움직임 벡터 DV11, DV12, DV13, DV14를 포함하며, 여기서 DV11 및 DV12는 전술한 NBDV 도출 방법에 따라서 획득되었으며, DV13 및 DV14는 변이-보상 예측 DCP를 이용하여 획득되었으며,
- L2는 예를 들면, 2개의 변이 움직임 벡터 DV21, DV22를 포함하며, 여기서 DV21 및 DV22는 전술한 DMDV 도출 방법에 따라서 획득되었으며,
- L3는 예를 들면, 2개의 변이 움직임 벡터 DV31, DV32를 포함하며, 여기서 DV31 및 DV32는 전술한 DoNBDV 및 FCO 도출 방법에 따라서 각각 획득되었다.
도 2를 참조하면, 상기 구성 단계 S1은 처리 장치(UT_DER)의 마이크로프로세서 (μP)에 의해서 구동되는 구성 모듈(CTR)에 의해서 실행된다.
그처럼 구성된 목록 L1 또는 상기 목록 L1, L2,..., Li,..., LM은 도 2의 도출 장치의 버퍼 메모리(MT_DER)에 저장된다.
도 1을 참조하면, 단계 S2 동안에, 전술한 목록 중 적어도 하나에서 변이 벡터의 수에 제한이 적용된다.
도 2를 참조하면, 상기 제한 단계 S2는 처리 장치(UT_DER)의 마이크로프로세서(μP)에 의해서 구동되는 제한 모듈(LIM)에 의해서 실행된다.
그러한 단계 S2는 선택적이며, 이러한 이유로, 도 2의 제한 모듈(LIM)과 같이, 도 1에서 점선으로 표시된다. 그러한 단계 S2는 이하 발명의 설명에서 더 상세하게 설명될 것이다.
도 1을 참조하면, 단계 S3 동안에, 함수(f)는 적어도 하나의 목록의 상이한 유형의 상기 적어도 2개의 변이 움직임 벡터 DVa 및 DVb에 적용된다.
도 2를 참조하면, 상기 적용 단계 S3는 처리 장치(UT_DER)의 마이크로프로세서(μP)에 의해서 구동되는 함수 적용 모듈(APP)에 의해서 실행된다.
단계 S3에 이어서, 최종 변이 움직임 벡터 DVf가 전달된다.
상기 함수(f)는 중간값, 최대값, 최소값, 평균값, 가중 평균, 가중된 중간값, 등과 같은 수학적 또는 통계적 함수이다. 평균값 또는 가중된 중간값의 경우에, 가중은 고려된 변이 움직임 벡터의 유형의 함수가 될 수 있다.
변형예로서, 상기 함수(f)는 미리 결정된 코딩 실행 기준인데, 예를 들면, 비트 속도/왜곡 비용 또는 그 외에 효율/복잡도 교환(trade-off)으로서, 이들은 당업자에게 공지된 기준이다.
예를 들어, 6개의 변이 움직임 벡터 DV11, DV12, DV13, DV14, DV15, DV16을 포함하는 전술한 목록과 같이, 단일 목록 L1이 구성되는 경우에, 함수(f)는 이 목록에서 고려되는 변이 움직임 벡터 모두에 또는 그와는 달리 이들 중 일부에 적용될 수 있다.
예를 들어, 전술한 3개의 목록 L1, L2 및 L3과 같이, 여러 목록이 구성되는 경우에, 여러 개의 무제한인 경우가 생길 수 있다.
제1 경우에 따르면, 전술한 함수(f)는 전술한 목록 L1, L2 및 L3 각각에서 고려되는 변이 움직임 벡터 모두에 적용된다.
제2 경우에 따르면, 전술한 함수(f)는, 함수(f)가 동일 목록, 예를 들어 목록 L3에서 고려된 상이한 유형의 적어도 2개의 변이 움직임 벡터에 적용되면, 전술한 목록 L1, L2 및 L3 각각에서 고려된 일부 변이 움직임 벡터에 적용된다.
제3 경우에 따르면,
- 함수(f)와 동일 유형의 함수(f1)은 목록 L1의 변이 움직임 벡터 모두에 적용되며, 제1 변이 움직임 벡터를 전달하며,
- 함수(f)와 동일한 유형의 함수(f2)는 목록 L2의 변이 움직임 벡터 모두에 적용되며, 제2 변이 움직임 벡터를 전달하며,
- 함수(f)와 동일한 유형의 함수(f3)는 목록 L3의 변이 움직임 벡터 모두에 적용되며, 제3 변이 움직임 벡터를 전달하며,
- 함수(f)와 동일 유형의 함수(f4)는 전달된 제1, 제2 및 제3 변이 움직임 벡터에 적용된다.
제4 경우에 따르면, 함수 f1, f2 및 f3는, 함수 f1, f3 중 적어도 하나가 그와 연관된 목록 L1, L3에서 고려되는 상이한 유형의 적어도 2개의 변이 움직임 벡터에 적용될 때, 전술한 목록 L1, L2, L3 각각에서 고려되는 일부 변이 움직임 벡터에 적용된다.
이제 변이 움직임 벡터의 수를 제한하는 단계 S2의 상이한 변형 실시예가 설명된다.
제1 변형 실시예에 따르면, 단계 S2는 전술한 단계 S1의 목록 L1 또는 m 목록 L1, L2,...Li,.., LM이 구성되면 실행된다. 그러한 단계 S2는 예를 들면,
- 더 작은 목록 L'1을 획득하거나 적어도 더 작은 L'i을 획득하도록, 목록 L1에서 또는, 고려된 적어도 하나의 목록 Li에서 m 목록 L1, L2,...Li,.., LM 이 예를 들어, Ki=3으로 구성되는 경우에, 벡터의 수를 Ki 엘리먼트의 최대값으로 제한하며,
- 고려된 적어도 한 가지 유형의 변이 움직임 벡터를 소거하며, 예를 들어, 상기 움직임 벡터는 전술한 DMDV 도출 방법의 종료에서 획득되며,
- m 목록이 구성되는 경우에 m 목록 L1, L2,...Li,.., LM 의 적어도 하나를 소거하는 것으로 이루어진다.
제2 변형 실시예에 따르면, 단계 S2는 전술한 단계 S1에 이어서 실행된다.
단계 S2는 예를 들면,
- 목록 L1에서 또는, m 목록 L1, L2,...Li,.., LM 가 구성되는 경우에, 고려되는 적어도 하나의 목록 Li에서, 적어도 2개의 변이 움직임 벡터가 그 크기 및 배향에 대해서 중복되는지 여부를 점검하며,
- 상기 점검이 긍정적이면, 상기 목록으로부터 상기 2개의 중복 벡터 중 하나를 소거하는 것으로 이루어진다.
제2 변형예에 따른 단계 S2가 완료되면, 더 작은 목록 L"1 또는 적어도 하나의 더 작은 목록 L"i가 획득된다.
제3 변형 실시예에 따르면, 그러한 단계 S2는 예를 들면,
- 더 작은 목록 L'1 또는 적어도 하나의 더 작은 목록 L'i에서, 적어도 2개의 변이 움직임 벡터가 그 크기 및 배향에 대해서 중복되는지 여부를 점검하며,
- 상기 점검이 긍정적이면, 상기 더 작은 목록으로부터 상기 2개의 중복 벡터 중 하나를 소거하는 것으로 이루어진다.
제4 변형 실시예에 따르면, 더 작든지 않든지, 고려된 목록에 대한, 중복성 점검은 목록에 포함되는 소정 수의 변이 움직임 벡터에서만 실행될 수 있다.
이제 본 발명에 따른 도출 방법에 대해서 세 가지 상이한 시나리오가 비제한적 예로서 설명된다.
시나리오 1
전술한 단계 S1 동안에, 전술한 NBDV 도출 방법에 따라 획득된 변이 움직임 벡터를 포함하는 단일 목록 L1이 구성된다. 그러한 목록은 예를 들면, DCP 예측에 의해서 획득되는 적어도 하나의 벡터 및 시간 움직임 벡터의 도출에 의해서 획득되는 적어도 하나의 벡터를 포함한다.
전술한 단계 S2 동안에, 중복성 벡터를 소거하기 위해 목록 L1에 포함되는 벡터의 중복성이 점검된다.
전술한 단계 S3 동안에, 중간 함수가 단계 S2에서 감소했을 수 있는 목록 L1에 포함된 벡터에 적용된다.
시나리오 2
전술한 단계 S1 동안에, 2개의 목록 L1 및 L2가 구성된다. 목록 L1은 전술한 NBDV 도출 방법에 따라 획득된 변이 움직임 벡터를 포함한다. 그러한 목록은 예를 들면 DCP 예측에 의해서 획득된 적어도 하나의 벡터와 시간 움직임 벡터의 도출에 의해서 획득된 적어도 하나의 벡터를 포함한다. 목록 L2는 DMDV, FCO 및 DoNBDV 도출 방법에 따라서 각각 획득된 적어도 3개의 변이 움직임 벡터를 포함한다.
전술한 단계 S2 동안에, 중복 벡터를 소거하기 위해서 목록 L1에만 포함된 벡터의 중복성이 점검된다.
전술한 단계 S3 동안에, 단계 S2에서 감소했을 수 있는 목록 L1에 포함된 제1의 2개의 벡터 및 목록 L2의 제1 벡터 둘 다에 평균 함수가 적용된다.
시나리오 3
전술한 단계 S1 동안에, 3개의 목록 L1, L2, L3이 구성된다. 목록 L1은 전술한 NBDV 도출 방법에 따라 획득된 변이 움직임 벡터를 포함한다. 그러한 목록은, 예를 들면, DCP 예측에 의해서 획득된 적어도 하나의 벡터와 시간 움직임 벡터의 도출에 의해서 획득된 적어도 하나의 벡터를 포함한다. 목록 L2는 DMDV 및 DoNBDV 도출 방법에 따라 각각 획득된 적어도 2개의 변이 움직임 벡터를 포함한다. 목록 L3는 FCO 도출 방법에 따라서 획득된 적어도 하나의 변이 움직임 벡터를 포함한다.
중복성 점검 단계 S2는 실행되지 않는다.
전술한 단계 S3 동안에, 제1 중간 함수(f1)는 목록 L1에 포함된 벡터에 적용되어 제1 변이 움직임 벡터를 전달하며, 제2 중간 함수(f2)는 목록 L2에 포함된 벡터에 적용되어 제2 변이 움직임 벡터를 전달하며, 제3 중간 함수(f3)는 목록 L3에 포함된 벡터에 적용되어 제3 변이 움직임 벡터를 전달한다. 이어서, 제4 중간 함수(f4)는 전달된 제1, 제2 및 제3 변이 움직임 벡터에 동시에 적용된다.
본 발명의 코딩 방법의 상세한 설명
이제 본 발명의 일 실시예가 설명되며, 여기서 본 발명에 따른 코딩 방법은, 현재 준비중인 3D-HEVC 표준에 따른 코딩에 의해서 획득되는 것에 가까운 비트 스트림에 따라 일련의 영상을 코딩하는데 이용된다. 이 실시예에서, 본 발명에 따른 코딩 방법은 예를 들어 초기에 HEVC 3D 표준에 맞는 코더에 대한 수정에 의해서 소프트웨어 또는 하드웨어에 의해서 실행된다. 본 발명에 따른 코딩 방법은 도 3에 도시된 바와 같이 단계 C1 내지 C9을 포함하는 알고리즘의 형태로 표시된다.
본 발명의 실시예에 따르면, 본 발명에 따른 코딩 방법은 도 4에 도시된 코딩 장치(CO)에서 실행된다. 그러한 코딩 장치는 버퍼 메모리(MT_CO)를 포함하는 메모리 (MEM_CO), 예를 들어 마이크로프로세서(μP)를 갖추고 본 발명에 따른 코딩 방법을 실행하는 컴퓨터 프로그램(PG_CO)에 의해서 구동되는 처리 장치(UT_CO)를 포함한다. 초기화에서, 컴퓨터 프로그램(PG_CO)의 코드 명령은 예를 들어, 처리 장치(UT_CO)의 처리기에 의해서 실행되기 전에 RAM 메모리로 로딩된다.
발명의 설명에서 이미 설명된 바와 같이, 본 발명에 따른 코딩 방법은, 예를 들어, 현재 준비중인 3D-HEVC 표준에 맞는 코딩/디코딩에 의해서 획득되는 것에 가까운 비트 스트림에 따라서 하나의 영상 또는 일련의 영상(SI)에 적용하기 위한 것이다.
고려되는 영상 또는 영상들은, 예를 들면, MVV 또는 MVD 포맷으로 될 수 있다. 도 3을 참조하면, 일련의 영상(SI)은 영상의 수 N(N≥1)을 포함하여,
- 순간 t1에서, 영상 I1은 복수의 R 뷰(V11, V12,...,V1j,...,V1R)를 포함하며,
- ...
- 순간 tk에서, 영상 Ik는 복수의 R 뷰(Vk1, Vk2,...,Vkj,...,VkR)를 포함하며,
- ...
- 순간 tN에서, 영상 IN은 복수의 R 뷰(VN1, VN2,...,VNj,...,VNR)를 포함하며,
여기서 1≤j≤R 및 1≤k≤N 이다.
이어서 순간 tk에서 현재 영상 Ik은 일련의 영상(SI)에서 고려된다.
자체로서 공지된 바와 같이, 도 3에 도시된 예비 단계 C1 동안에, 일련의 영상(SI)에 속하는 현재 영상 Ik의 현재 뷰(Vkj)는 예를 들어, 64x64 화소 크기(1≤u≤S)의 복수의 블록(CTB1, CTB2,...,CTBu,...,CTBS)으로 분할된다. 그러한 분할 단계는 도 4에 도시된 분할 소프트웨어 모듈(MP)에 의해서 실행되며, 상기 모듈은 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
본 발명의 사상 내에서, 용어 "블록"은 코딩 장치를 의미하는 것을 알 수 있다. 특히 후자의 용어는 HEVC 표준, 예를 들면, B.Bross, W.-J. Han, J-R. Ohm, G.J. Sullivan, 및 T.Wiegand, "High efficiency video coding (HEVC) text specification drift 6", document JCTVC-H1003 of JCT-VC, San Jose CA, USA, February 2012"에서 사용된다.
특히, 그러한 코딩 장치는 블록, 매크로블록으로도 지칭되는 장방형 또는 정방형 형태의 화소 세트, 또는 다른 기하학적 형태의 화소의 세트를 결합시킨다.
도 3에 도시된 단계 C2 동안에, 현재 뷰(Vkj)의 블록 CTBu는 코딩될 현재 블록으로서 선택된다.
도 4를 참조하면, 상기 선택 단계 C2는 코더(CO)의 선택 모듈(SEL_CO)에 의해서 실행되며, 상기 모듈은 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 3을 참조하면, 단계 C3 동안에, 변이 움직임 벡터가 도출된다. 그러한 단계는 본 발명에 따른 도출 방법에 따라서 실행된다.
도 4를 참조하면, 상기 도출 단계 C3는 도 2의 도출 모듈(DER)과 모든 면에서 일치하는 도출 모듈(DER_CO)에 의해서 실행되며, 상기 모듈(DER_CO)은 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 3을 참조하면, 단계 C4 동안에, 현재 블록(CTBu)의 예측 코딩은 공지된 인트라 및/또는 인터 예측 기술에 의해서 실행되며, 그 동안에 현재 블록(CTBu)은 사전에 코딩된 후 디코딩된 적어도 하나의 블록에 대해서 예측된다.
도 4를 참조하면, 상기 예측 코딩 단계 C4는, 종래의 예측 기술에 따라서, 예를 들면, 인트라 및/또는 인터 모드에서와 같이, 현재 블록의 예측 코딩을 실행할 수 있는 예측 코딩 유닛(UCP)에 의해서 실행된다. 상기 UCP 모듈은 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
제1 변형 실시예에 따르면, 현재 블록(CTBu)의 움직임 벡터는 AMVP 모드에 따라서 결정되는데, 말하자면, 도출 단계 C3에 이어서 획득되는 최종 변이 움직임 벡터 DVf뿐만 아니라, 시간 움직임 벡터 및/또는 변이 움직임 벡터를 포함할 수 있는 움직임 벡터의 목록에서 움직임 벡터를 선택함으로써 예측된다.
제2 변형 실시예에 따르면, 현재 블록(CTBu)의 움직임 벡터는 MERGE 모드에 따라서 결정되는데, 말하자면, 도출 단계 C3에 이어서 획득되는 최종 변이 움직임 벡터 DVf뿐만 아니라, 시간 움직임 벡터 및/또는 변이 움직임 벡터를 포함할 수 있는 움직임 벡터의 목록에 포함되는 움직임 벡터의 상속에 의해서 결정된다.
단계 C4에서 결정된 현재 블록에 대한 가능한 예측으로부터, 당업자에게 공지된 비트 속도/왜곡 기준에 따라서 최적의 예측이 선택된다.
상기 전술한 예측 코딩 단계에서는 현재 블록(CTBu)의 근사치인 예측 블록(CTBpu)을 구성하는 것이 가능하다. 이어서 예측 코딩에 관한 정보는 도 5에 도시된 바와 같이 디코더(DO)에 전송된 스트림에 기입된다. 본 발명에 따른 도출 방법을 이용하여 획득된 변이 움직임 벡터가 최적의 예측 벡터로서 선택되는 경우에, 그러한 정보는 그것을 포함하는 목록 내에 이 벡터의 위치설정 색인(positioning index)을 포함한다. 여러 목록이 구성되어 있는 특정 경우에, 정보는 선택된 벡터를 포함하는 목록의 색인도 포함한다.
도 3에 도시되는 단계 C5 동안에, 도 4의 예측 코딩 유닛(UCP)은 잔여 블록(CTBru)을 생성하기 위해서 현재 블록(CTBu)으로부터 예측된 블록(CTBpu)을 공제하게 된다.
도 3에 도시되는 단계 C6 동안에, 잔여 블록(CTBru)은, 예를 들어, 변환된 블록(CTBtu)을 생성하도록 DCT 유형의 이산 코사인 변환과 같은 종래의 직접 변환 동작에 따라서 변환된다.
상기 단계 C6는 도 4에 표시된 변환 장치(UT)에 의해서 실행되며, 상기 장치는 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 4에 도시된 단계 C7 동안에, 변환된 블록(CTBtu)은, 예를 들어 스칼라 양자화와 같은 종래의 양자화 연산에 따라서, 양자화된다. 이어서 양자화된 계수의 블록(CTBqu)이 획득된다.
상기 단계 C7은 도 4에 표시된 양자화 장치 UQ에 의해서 실행되며, 상기 장치는 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 3에 도시된 단계 C8 동안에, 양자화 계수의 블록 CTBqu의 엔트로피 코딩이 실행된다. 상기 바람직한 실시예에서, 이는 당업자에게 공지된 CABAC 엔트로피 코딩이다.
단계 C8는 도 4에 도시된 엔트로피 코딩 장치(UCE)에 의해서 실행되며, 상기 장치는 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
바로 위에서 기술된 코딩 하위단계는 고려되는 현재 영상 lk의 코딩되어야 할 모든 블록에 대해서 실행된다.
바로 위에서 기술된 코딩 단계 C2 내지 C8는 고려되는 현재 뷰 Vkj의 코딩되어야 할 모든 블록에 대해서 실행된다.
도 3에 표시된 단계 C9 동안에, 코딩된 현재 뷰(Vkj)를 표시하는 비트의 스트림(Fkj)이 그에 대해 디코딩된 버전(VDkj)에서와 같이 생성되며, 이는 일련의 영상(SI)의 다른 뷰를 코딩하는 기준 뷰로서 재사용될 수 있다.
도 4를 참조하면, 현재 스트림(Fkj)의 생성 단계 C9는, 예를 들어, 비트와 같이 데이터의 스트림을 생성하도록 설계된 스트림 생성 모듈(MGF)에 의해서 실행된다. 상기 MGF 모듈은 처리 장치(UT_CO)의 마이크로프로세서(μP)에 의해서 구동된다.
현재 스트림(Fkj)은 이어서 통신망(미표시)에 의해서 원격 단말로 전송된다. 후자는 도 5에 도시된 디코더(DO)를 포함하는데, 이는 이하 본 발명의 설명에 보다 상세히 설명된다.
디코딩 부의 실시예에 대한 상세한 설명
이제 본 발명에 따른 디코딩 방법의 일 실시예가 설명되는데, 여기서 디코딩 방법은 초기에 3D-HEVC 표준에 맞는 디코더로 수정함으로써 소프트웨어 또는 하드웨어에 의해서 실행된다.
본 발명에 따른 디코딩 방법은 도 6에 도시된 단계 D1 내지 D9을 포함하는 알고리즘의 형태로 표시된다.
본 발명의 상기 실시예에 따르면, 본 발명에 따른 디코딩 방법은 도 5에 도시된 디코딩 장치 DO에서 실행된다.
도 5에 도시된 바와 같이, 그러한 디코딩 장치는 버퍼 메모리(MT_DO)를 포함하는 메모리(MEM_DO), 예를 들어 마이크로프로세서(μP)를 구비하고 본 발명에 따른 디코딩 방법을 실행하는 컴퓨터 프로그램(PG_DO)에 의해서 구동되는 처리 장치(UT_DO)를 포함한다. 초기화에서, 컴퓨터 프로그램(PG_DO)의 코드 정보는 예를 들어 처리 장치(UT_DO)의 처리기에 의해서 실행되기 전에 RAM 메모리로 로딩된다.
도 6에 도시된 디코딩 방법은 디코딩되는 상기 일련의 영상(SI)의 임의의 현재 영상에 적용된다.
이를 위해, 디코딩되는 현재 영상(Ik)을 표시하는 정보는 디코더(DO)에서 수신되는 스트림(Fkj)에서 식별된다.
도 6에 도시된 단계 D1 동안에, 디코딩되는 블록(CTBu)은 스트림(Fkj)에서 선택된다.
도 5를 참조하면, 상기 선택 단계 D1은 디코더(DO)의 선택 모듈(SEL_DO)에 의해서 실행되며, 상기 모듈은 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 6에 도시된 단계 D2 동안에, 현재 블록(CTBu)에 연계된 구문 요소의 엔트로피 디코딩은 스트림 포인터를 이용하여 스트림(Fk)을 판독하여 실행된다.
더욱 상세하게, 현재 블록에 연계된 구문 요소는 도 5에 도시된 바와 같이 CABAC 엔트로피 디코딩 장치(UDE)에 의해서 디코딩되며, 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다. 그러한 장치는 그 자체로 공지되었으므로 더 설명하지 않는다.
도 6을 참조하면, 단계 D3 동안에, 변이 움직임 벡터가 도출된다. 그러한 단계는 본 발명에 따른 도출 방법에 따라서 실행된다.
도 5를 참조하면, 상기 도출 단계 D3는 도 2의 도출 모듈(DER)과 모든 면에서 일치하는 도출 모듈(DER_DO)에 의해서 실행되며, 상기 모듈(DER_DO)은 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 6에 표시된 단계 D4 동안에, 현재 블록(CTBu)의 예측 디코딩은 공지된 인트라 및/또는 인터 예측 기술에 의해서 실행되며, 그 동안에 블록(CTBu)은 적어도 하나의 사전에 디코딩된 블록에 대해서 예측된다.
이러한 단계 동안에, 예측 디코딩은 이전 단계에서 디코딩되고 특히 예측 유형(인터 또는 인트라)을 포함하는 구문 요소를 이용하여 실행된다.
예측 또는 움직임 벡터 상속이 현재 블록(CTBu)에 적용되는 경우 그리고 본 발명에 따른 도출 방법을 이용하여 획득된 변이 움직임 벡터가 비트 속도-왜곡 기준에 따라 예측을 최적화하는 벡터로서 코딩시에 선택된 경우에, 상기 디코딩된 구문 요소는 그것을 포함하는 변이 움직임 벡터의 목록 내에 이러한 벡터의 위치설정 색인을 포함한다. 여러 목록이 구성된 특정 경우에, 상기 디코딩된 구문 요소는 또한 선택된 벡터를 포함하는 목록의 색인을 포함한다
상기 전술한 예측 디코딩 단계 D4에서는 사전에 디코딩된 블록에 대해서 예측된 블록(CTBpu)을 구성하는 것이 가능하다.
상기 단계 D4는 도 5에 도시된 바와 같이 예측 디코딩 장치(UDP)에 의해서 실행되며, 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 6에 도시된 단계 D5 동안에, 도 5의 예측 디코딩 장치(UDP)는 잔여 블록(CTBru)을 생성하기 위해서 현재 블록(CTBu)으로부터 예측된 블록(CTBpu)을 공제하게 된다.
도 6에 도시된 단계 D6 동안에, 양자화된 잔여 블록(CTBru)은 전술한 단계 C7에서 실행된 양자화의 역연산인 종래의 역양자화 연산에 따라서 역양자화되어, 디코딩된 역양자화된 블록(CTBDtu)을 생성한다.
상기 단계 D6은 도 5에 표시된 역양자화 장치(UDQ)에 의해서 실행되며, 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 6에 도시된 단계 D7 동안에, 역양자화 블록(CTBDtu)의 역변환이 실행되며, 이는 전술한 코딩 단계 C6에서 실행된 직접 변환의 역연산이다. 이어서 디코딩된 잔여 블록(CTBDru)이 획득된다.
상기 단계 D7은 도 5에 도시된 역변환 장치(UTI)에 의해서 실행되며, 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
도 6에 도시된 단계 D8 동안에, 디코딩된 블록(CTBDu)은 디코딩된 잔여 블록(CTBDru)을 예측된 블록(CTBpu)에 가산함으로써 구성된다. 이에 따라 디코딩된 블록(CTBDu)은 도 5의 디코더(DO)에 의해서 사용될 수 있게 된다.
단계 D8은 도 5에 도시된 바와 같이 디코딩된 블록 구성 장치(USBD)에 의해서 실행되며, 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
바로 위에서 설명된 디코딩 단계 D1 내지 D8는 고려되는 현재 뷰(Vkj)가 디코딩되는 모든 블록에 대해서 다시 한번 실행된다.
도 6을 참조하면, 단계 D9 동안에, 디코딩된 뷰(VDkj)의 재구성이 실행된다.
도 5를 참조하면, 재구성 단계 D9은 이러한 블록이 사용가능할 때 디코딩된 뷰(VDkj)로 디코딩된 블록을 기록하는 재구성 장치(URI)에 의해서 실행된다. 상기 장치는 처리 장치(UT_DO)의 마이크로프로세서(μP)에 의해서 구동된다.
이상에 설명된 실시예는 순수하게 예시적이며 비제한적 방식으로 주어졌으며, 당업자라면 발명의 틀에서 벗어나지 않고도 쉽게 여러 수정이 가능하다는 것은 말할 것도 없다.

Claims (15)

  1. 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상(Ik)을 디코딩하는 방법으로서, 상기 디코딩 방법은 변이 움직임 벡터를 도출하는 단계(D3)를 포함하며, 상기 디코딩 방법은, 상기 도출 단계 동안에,
    - 적어도 2개의 변이 움직임 벡터가 2개의 상이한 추정 방법에 따라서 각각 획득된, 변이 움직임 벡터에 대한 적어도 하나의 목록(L1)를 구성하는 단계(S1),
    - 함수를 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 적용하는 단계(S3)로 구성되는 단계를 포함하는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    디코딩하는 동안에, 변이 움직임 벡터의 복수의 목록이 구성되며, 상기 복수의 목록이 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 상기 적용 단계는 함수를 상기 목록의 상기 적어도 2개의 변이 움직임 벡터 및 적어도 하나의 다른 목록의 적어도 하나의 변이 움직임 벡터 둘 다에 적용하는 것으로 이루어지는, 디코딩 방법.
  3. 제1항에 있어서,
    디코딩하는 동안에, 변이 움직임 벡터의 복수의 목록이 구성되며, 상기 복수의 목록이 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 상기 적용 단계는,
    - 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 함수를 적용하며, 제1 변이 움직임 벡터를 전달하는 단계,
    - 각각의 다른 목록들의 적어도 하나의 변이 움직임 벡터에 함수를 적용하며, 복수의 다른 변이 움직임 벡터를 전달하는 단계,
    - 전달된 상기 제1 변이 움직임 벡터 및 전달된 상기 다른 변이 움직임 벡터 둘 다에 함수를 적용하는 단계로 이루어지는, 디코딩 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    함수의 상기 적용 단계 전에, 적어도 하나의 목록에서, 변이 움직임 벡터의 수를 제한하는 것으로 이루어지는 단계(S2)를 포함하는, 디코딩 방법.
  5. 제4항에 있어서,
    상기 제한 단계는,
    - 변이 움직임 벡터의 적어도 하나의 목록에서, 적어도 2개의 변이 움직임 벡터가 크기 및 배향에 대해서 중복되는지 여부를 점검하는 단계,
    - 상기 점검이 긍정적이면, 상기 목록으로부터 상기 2개의 벡터 중 하나를 소거하는 단계로 이루어지는, 디코딩 방법.
  6. 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상(Ik)을 디코딩하는 장치(DO)로서, 상기 장치는 청구항 제1항 내지 제5항 중 어느 한 항에 따른 상기 디코딩 방법을 실행하도록 구성되며, 상기 디코딩 장치는 변이 움직임 벡터 도출 장치(DER)를 포함하며, 상기 도출 장치는,
    - 변이 움직임 벡터의 적어도 하나의 목록을 구성하는 수단(CTR)을 포함하고, 상기 목록은 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터를 포함하며,
    - 함수를 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 적용하는 수단(APP)을 포함하는 것을 특징으로 하는, 장치(DO).
  7. 제1항 내지 제5항 중 어느 한 항에 청구된 바와 같은 디코딩 방법의 단계의 실행을 위한 프로그램 코드 명령을 포함하는 컴퓨터 프로그램으로서, 상기 프로그램이 컴퓨터에서 실행되는, 컴퓨터 프로그램.
  8. 제1항 내지 제5항 중 어느 한 항에 청구된 바와 같은 디코딩 방법의 단계의 실행을 위한 프로그램 코드 명령을 포함하는 컴퓨터 프로그램이 저장되는 컴퓨터-판독가능한 저장 매체로서, 상기 프로그램은 컴퓨터에 의해서 실행되는, 컴퓨터-판독가능한 저장 매체.
  9. 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상(Ik)을 코딩하는 방법으로서, 상기 코딩 방법은 변이 움직임 벡터를 도출하는 단계(C3)를 포함하며, 상기 코딩 방법은, 상기 도출 단계 동안에,
    - 적어도 2개의 변이 움직임 벡터가 2개의 상이한 추정 방법에 따라서 각각 획득된, 변이 움직임 벡터에 대한 적어도 하나의 목록(L1)를 구성하는 단계(S1),
    - 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 함수를 적용하는 단계(S3)로 구성되는 단계를 포함하는 것을 특징으로 하는, 방법.
  10. 제9항에 있어서,
    코딩하는 동안에, 변이 움직임 벡터의 복수의 목록이 구성되며, 상기 복수의 목록이 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 상기 적용 단계는 상기 목록의 상기 적어도 2개의 변이 움직임 벡터 및 적어도 하나의 다른 목록의 적어도 하나의 변이 움직임 벡터 둘 다에 함수를 적용하는 것으로 이루어지는, 코딩 방법.
  11. 제9항에 있어서,
    코딩하는 동안에, 변이 움직임 벡터의 복수의 목록이 구성되며, 상기 복수의 목록은 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터의 적어도 하나의 목록을 포함할 때, 상기 적용 단계는,
    - 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 함수를 적용하며, 제1 변이 움직임 벡터를 전달하는 단계,
    - 각각의 다른 목록들의 적어도 하나의 변이 움직임 벡터에 함수를 적용하며, 복수의 다른 변이 움직임 벡터를 전달하는 단계,
    - 전달된 상기 제1 변이 움직임 벡터 및 전달된 상기 다른 변이 움직임 벡터 둘 다에 함수를 적용하는 단계로 이루어지는, 코딩 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    함수의 상기 적용 단계 전에, 적어도 하나의 목록에서, 변이 움직임 벡터의 수를 제한하는 것으로 이루어지는 단계(S2)를 포함하는, 코딩 방법.
  13. 제12항에 있어서,
    상기 제한 단계는,
    - 변이 움직임 벡터의 적어도 하나의 목록에서, 적어도 2개의 변이 움직임 벡터가 크기 및 배향에 대해서 중복되는지 여부를 점검하는 단계,
    - 상기 점검이 긍정적이면, 상기 목록으로부터 상기 2개의 벡터 중 하나를 소거하는 단계로 이루어지는, 코딩 방법.
  14. 동일 장면을 각각 표시하는 적어도 2개의 뷰를 포함하는 현재 영상(Ik)을 코딩하는 장치(CO)로서, 상기 장치는 청구항 제9항 내지 제13항 중 어느 한 항에 청구된 바와 같이 상기 코딩 방법을 실행하도록 적용되며, 상기 코딩 장치는 변이 움직임 벡터 도출 장치(DER_CO)를 포함하며, 상기 도출 장치는,
    - 변이 움직임 벡터의 적어도 하나의 목록을 구성하는 수단(CTR)을 포함하며, 상기 목록은 2개의 상이한 추정 방법에 따라서 각각 획득된 적어도 2개의 변이 움직임 벡터를 포함하며,
    - 상기 목록의 상기 적어도 2개의 변이 움직임 벡터에 함수를 적용하는 수단(APP)을 포함하는 것을 특징으로 하는, 장치(CO).
  15. 제9항 내지 제13항 중 어느 한 항에 청구된 바와 같은 코딩 방법의 단계의 실행을 위한 프로그램 코드 명령을 포함하는 컴퓨터 프로그램으로서, 상기 프로그램이 컴퓨터에서 실행되는, 컴퓨터 프로그램.
KR1020157025488A 2013-02-26 2014-02-24 변이 움직임 벡터의 도출, 그러한 도출을 이용한 3d 비디오 코딩 및 디코딩 KR102208951B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1351701 2013-02-26
FR1351701A FR3002716A1 (fr) 2013-02-26 2013-02-26 Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
PCT/FR2014/050384 WO2014131975A2 (fr) 2013-02-26 2014-02-24 Dérivation de vecteur de mouvement de disparité, codage et décodage vidéo 3d utilisant une telle dérivation

Publications (2)

Publication Number Publication Date
KR20150122690A true KR20150122690A (ko) 2015-11-02
KR102208951B1 KR102208951B1 (ko) 2021-01-27

Family

ID=48795646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157025488A KR102208951B1 (ko) 2013-02-26 2014-02-24 변이 움직임 벡터의 도출, 그러한 도출을 이용한 3d 비디오 코딩 및 디코딩

Country Status (9)

Country Link
US (2) US10595044B2 (ko)
EP (2) EP3672252A1 (ko)
JP (1) JP6690944B2 (ko)
KR (1) KR102208951B1 (ko)
CN (1) CN105075250B (ko)
BR (2) BR112015020340B1 (ko)
ES (1) ES2799577T3 (ko)
FR (1) FR3002716A1 (ko)
WO (1) WO2014131975A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
JP5346076B2 (ja) * 2008-04-25 2013-11-20 トムソン ライセンシング 奥行きを用いた視点間スキップモード
JP2012034356A (ja) * 2010-07-02 2012-02-16 Panasonic Corp 画像符号化装置、画像符号化方法、プログラムおよび集積回路
KR20130095275A (ko) * 2010-08-09 2013-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 인코더, 디코더, 비트-스트림, 다중-뷰 신호의 두 개의 뷰들에 대응하는 이미지 쌍을 인코딩하는 방법, 및 디코딩하는 방법
KR20140011481A (ko) * 2011-06-15 2014-01-28 미디어텍 인크. 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
US20140241434A1 (en) * 2011-10-11 2014-08-28 Mediatek Inc Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
EP2781099B1 (en) * 2011-11-15 2015-08-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
KR101682999B1 (ko) * 2012-04-16 2016-12-20 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN104429074B (zh) * 2012-06-28 2018-11-30 寰发股份有限公司 3d视频编码中视差矢量导出的方法和装置
EP2842333A4 (en) * 2012-07-02 2016-01-06 Mediatek Inc METHOD AND DEVICE FOR DERIVING INTERCONNECTION CANDIDATES IN 3D VIDEO CODING
JP5970609B2 (ja) * 2012-07-05 2016-08-17 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
WO2014008817A1 (en) * 2012-07-09 2014-01-16 Mediatek Inc. Method and apparatus of inter-view sub-partition prediction in 3d video coding
CN107454426A (zh) * 2012-07-27 2017-12-08 寰发股份有限公司 三维视频编码或解码方法
CN104662910B (zh) * 2012-09-21 2018-04-10 寰发股份有限公司 3d视频编码中的虚拟深度值的方法和装置
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9967586B2 (en) * 2013-01-07 2018-05-08 Mediatek Inc. Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
WO2015007159A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
CN104424103B (zh) * 2013-08-21 2018-05-29 光宝科技股份有限公司 固态储存装置中高速缓存的管理方法
EP3117606B1 (en) * 2014-03-13 2018-12-26 Qualcomm Incorporated Simplified advanced residual prediction for 3d-hevc

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jewon Kang et al. 3D-CE2.h related: Enhanced disparity vector derivation. Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 17-23 Jan. 2013, JCT3V-C0050* *
Li Zhang et al. 3D-CE5.h: Merge candidates derivation from disparity vector. Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2nd Meeting: Shanghai, CN, 13-19 Oct. 2012, JCT3V-B0048* *

Also Published As

Publication number Publication date
ES2799577T3 (es) 2020-12-18
KR102208951B1 (ko) 2021-01-27
EP2962459B1 (fr) 2020-04-01
CN105075250B (zh) 2019-08-13
WO2014131975A3 (fr) 2014-11-20
BR112015020340B1 (pt) 2023-04-18
FR3002716A1 (fr) 2014-08-29
EP2962459A2 (fr) 2016-01-06
CN105075250A (zh) 2015-11-18
JP2016511593A (ja) 2016-04-14
US20160014428A1 (en) 2016-01-14
JP6690944B2 (ja) 2020-04-28
WO2014131975A2 (fr) 2014-09-04
EP3672252A1 (fr) 2020-06-24
BR122020021362B1 (pt) 2023-04-11
BR112015020340A2 (pt) 2017-07-18
US11102466B2 (en) 2021-08-24
US10595044B2 (en) 2020-03-17
US20200186834A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US11363288B2 (en) Motion vector generation for affine motion model for video coding
TWI696384B (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
TW201924350A (zh) 視訊寫碼中之仿射運動向量預測
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
TWI551121B (zh) 視訊寫碼中之視差向量改進
CN105009586A (zh) 多视图或3维视频译码中的视图间残余预测
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
EP3011746A1 (en) More accurate advanced residual prediction (arp) for texture coding
KR102201591B1 (ko) 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
TW202021354A (zh) 運動向量預測器清單產生
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测
CN106664423B (zh) 视频编译中的深度图片编译方法
JP2016526348A5 (ko)
US20220007051A1 (en) Optical flow based video inter prediction
CN109547800B (zh) 用于3d-hevc的简化高级残余预测
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN106464898B (zh) 用于导出视图间运动合并候选的方法和装置
US11102466B2 (en) Derivation of disparity motion vector, 3D video coding and decoding using such derivation
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
US10390035B2 (en) Video encoding and decoding by inheritance of a field of motion vectors
US10972751B2 (en) Video encoding apparatus and method, and video decoding apparatus and method

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant