KR20130044189A - 다시점 비디오 부호화/복호화 방법 및 그 장치 - Google Patents
다시점 비디오 부호화/복호화 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20130044189A KR20130044189A KR1020120117076A KR20120117076A KR20130044189A KR 20130044189 A KR20130044189 A KR 20130044189A KR 1020120117076 A KR1020120117076 A KR 1020120117076A KR 20120117076 A KR20120117076 A KR 20120117076A KR 20130044189 A KR20130044189 A KR 20130044189A
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- block
- prediction
- view
- current
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Abstract
제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 방법이 제공된다. 본 발명에 따른 다시점 비디오 복호화 방법은, 현재 블록에 대한 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 수신하여 복호화하는 단계, 현재 블록에 대해 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하는 단계, 복수의 예측 움직임 벡터 후보 중에서 복호화된 예측 움직임 벡터 인덱스가 지시하는 예측 움직임 벡터 후보를 현재 블록의 예측 움직임 벡터로 결정하는 단계, 및 결정된 예측 움직임 벡터 및 복호화된 움직임 벡터 차분을 더함으로써, 현재 블록의 움직임 벡터를 도출하는 단계를 포함할 수 있다.
Description
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 다시점 비디오 부호화/복호화 방법 및 장치에 관한 것이다.
현재 표준화가 진행 중인 차세대 고효율 비디오 압축 표준(High Efficiency Video Coding: HEVC)에는 움직임 벡터를 위한 부호화하는 방법으로 향상된 움직임 벡터 부호화 기술(Advanced Motion Vector Prediction: AMVP) 및 머지(merge) 기술 이 있다.
AMVP는 현재 블록 또는 부호화 단위 (Coding Unit, CU)에 대한 움직임 벡터의 부호화 시에 예측 움직임 벡터 값을 명시적으로 전송하는 방법이다. AMVP에서는, 부호화되는 움직임 벡터에 대한 예측 움직임 벡터를 사용함으로써 복호화기로 전송되는 움직임 벡터 차분 값의 크기와 양이 감소될 수 있으며, 부호화/복호화 성능이 향상되는 효과가 있다. AMVP에서는, 현재 블록(여기서, 현재 블록은 PU(Prediction Unit) 또는 CU(Coding Unit)에 대응되는 블록일 수 있음)에 대한 예측 움직임 벡터 후보군을 구성할 수 있다. 또한 부호화기는 실제 움직임 예측을 통하여 최적의 움직임 벡터를 구할 수 있다. 그리고 최적의 움직임 벡터와 예측 움직임 벡터의 후보군 간의 차이를 구하여 가장 적은 차이 값을 가지는 후보에 대한 인덱스를 복호화기로 전송할 수 있다. 여기서, 상기 인덱스는 예측 움직임 벡터 인덱스로 불릴 수 있다. 예측 움직임 벡터의 후보군으로 현재 블록에 인접한 주변 블록의 움직임 벡터들 및 이전 시간의 픽쳐 내에서 동일 위치 (co-located)에 있는 블록(여기서, 블록은 PU(Prediction Unit) 또는 CU(Coding Unit)에 대응되는 블록일 수 있음)의 움직임 벡터들이 사용될 수 있다. 예측 움직임 벡터의 후보군은 부호화기와 복호화기에서 동일한 규칙을 기반으로 구성되므로, 상기 후보군에 대한 구성 방법은 전송되지 않을 수 있다. AMVP 기술을 위한 예측 움직임 벡터 후보군을 구성하는 예측 움직임 벡터 후보의 개수가 많을수록 실제 움직임 벡터의 예측 성능은 향상될 수 있다. 그러나 후보군을 구성하는 예측 움직임 벡터 후보의 개수가 많을수록 예측 움직임 벡터 인덱스의 전송에 필요한 비트율이 증가하게 된다. 즉, 예측 움직임 벡터 후보군의 구성 방법과 상기 후보군을 구성하는 예측 움직임 벡터 후보의 개수 등이 AMVP 기술의 성능에 영향을 미칠 수 있다.
머지 기술에서는 AMVP 기술과 유사하게, 현재 블록(여기서, 현재 블록은 PU 또는 CU에 대응되는 블록일 수 있음)의 움직임 정보를 위한 머지 후보군이 구성될 수 있고, 머지 후보군을 구성하는 복수의 머지 후보 중에서 최적의 움직임 정보가 선택될 수 있다. 부호화기는 머지 후보군을 구성하는 복수의 머지 후보 중에서 최적의 움직임 정보에 대응되는 머지 후보를 지시하는, 머지 인덱스를 복호화기로 전송할 수 있다. 복호화기는 수신된 머지 인덱스를 기반으로 현재 블록의 움직임 정보를 도출할 수 있다. 머지 모드에서는 AMVP에서와 달리, 움직임 벡터의 차분 신호가 전송되지 않을 수 있다.
본 발명의 기술적 과제는 비디오 압축 성능을 향상시킬 수 있는 다시점 비디오 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 비디오 압축 성능을 향상시킬 수 있는 다시점 비디오 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 비디오 압축 성능을 향상시킬 수 있는 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 비디오 압축 성능을 향상시킬 수 있는 움직임 정보 부호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 비디오 압축 성능을 향상시킬 수 있는 움직임 정보 복호화 방법 및 장치를 제공함에 있다.
본 발명의 해결 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 형태는 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 방법이다. 상기 방법은, 상기 현재 블록에 대한 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 수신하여 복호화하는 단계, 상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하는 단계, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 복호화된 예측 움직임 벡터 인덱스가 지시하는 예측 움직임 벡터 후보를, 상기 현재 블록의 예측 움직임 벡터로 결정하는 단계 및 상기 결정된 예측 움직임 벡터 및 상기 복호화된 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 단계를 포함할 수 있다. 여기서, 상기 복수의 예측 움직임 벡터 후보는, 상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함할 수 있다.
상기 글로벌 디스패리티 벡터는 시퀀스 파리미터 셋 (Sequence Parameter Set: SPS) 또는 슬라이스 헤더(slice header)에 포함되어 부호화기에서 복호화기로 전송될 수 있다.
상기 글로벌 디스패리티 벡터는 상기 좌측 블록의 시차 정보, 상기 상단 블록의 시차 정보 및 상기 콜 블록의 시차 정보 중에서 적어도 하나를 기반으로 도출될 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하는 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 대응 블록의 움직임 벡터를 포함할 수 있고, 상기 대응 블록의 위치는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터를 기반으로 도출될 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하지 않는 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록의 움직임 벡터, 상기 좌측 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터 및 상기 대응 블록의 움직임 벡터를 포함할 수 있고, 상기 대응 블록의 위치는, 상기 글로벌 디스패리티 벡터를 기반으로 도출될 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가, 상기 제2 시점 내에서 상기 현재 픽쳐와 동일한 POC 값을 갖는 픽쳐인 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 글로벌 디스패리티 벡터를 포함할 수 있다.
본 발명의 다른 실시 형태는 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 장치이다. 상기 장치는, 상기 현재 블록에 대한 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 수신하여 복호화하는 엔트로피 복호화부 및 상기 현재 블록에 대해 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하고, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 복호화된 예측 움직임 벡터 인덱스가 지시하는 예측 움직임 벡터 후보를, 상기 현재 블록의 예측 움직임 벡터로 결정하고, 상기 결정된 예측 움직임 벡터 및 상기 복호화된 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 향상된 움직임 벡터 예측부를 포함할 수 있다. 여기서, 상기 복수의 예측 움직임 벡터 후보는, 상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함할 수 있다.
상기 글로벌 디스패리티 벡터는 시퀀스 파리미터 셋 (Sequence Parameter Set: SPS) 또는 슬라이스 헤더(slice header)에 포함되어 다시점 비디오 부호화 장치에서 상기 다시점 비디오 복호화 장치로 전송될 수 있다.
상기 향상된 움직임 벡터 예측부는, 상기 좌측 블록의 시차 정보, 상기 상단 블록의 시차 정보 및 상기 콜 블록의 시차 정보 중에서 적어도 하나를 기반으로 상기 글로벌 디스패리티 벡터를 도출할 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하는 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 대응 블록의 움직임 벡터를 포함할 수 있고, 상기 향상된 움직임 벡터 예측부는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터를 기반으로, 상기 대응 블록의 위치를 결정할 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하지 않는 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록의 움직임 벡터, 상기 좌측 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터 및 상기 대응 블록의 움직임 벡터를 포함할 수 있고, 상기 향상된 움직임 벡터 예측부는, 상기 글로벌 디스패리티 벡터를 기반으로 상기 대응 블록의 위치를 결정할 수 있다.
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가, 상기 제2 시점 내에서 상기 현재 픽쳐와 동일한 POC 값을 갖는 픽쳐인 경우, 상기 복수의 예측 움직임 벡터 후보는, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 글로벌 디스패리티 벡터를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 부호화 방법이다. 상기 방법은, 상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하는 단계, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측에 사용될 예측 움직임 벡터를 결정하고, 상기 결정된 예측 움직임 벡터를 지시하는 인덱스를 상기 현재 블록의 예측 움직임 벡터 인덱스로 결정하는 단계, 상기 현재 블록의 움직임 벡터 및 상기 결정된 예측 움직임 벡터 간의 움직임 벡터 차분을 도출하는 단계 및 상기 예측 움직임 벡터 인덱스 및 상기 움직임 벡터 차분을 부호화하여 복호화기로 전송하는 단계를 포함할 수 있다. 여기서, 상기 복수의 예측 움직임 벡터 후보는, 상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 부호화 장치이다. 상기 장치는, 상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하고, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측에 사용될 예측 움직임 벡터를 결정하고, 상기 결정된 예측 움직임 벡터를 지시하는 인덱스를 상기 현재 블록의 예측 움직임 벡터 인덱스로 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 결정된 예측 움직임 벡터 간의 움직임 벡터 차분을 도출하는 향상된 움직임 벡터 예측부 및 상기 예측 움직임 벡터 인덱스 및 상기 움직임 벡터 차분을 부호화하여 복호화기로 전송하는 엔트로피 부호화부를 포함할 수 있다. 여기서, 상기 복수의 예측 움직임 벡터 후보는, 상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 제1 시점에 속한 현재 블록의 움직임 정보를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 방법이다. 상기 방법은, 상기 현재 블록에 대한 머지 인덱스를 수신하여 복호화하는 단계, 상기 현재 블록에 대해, 복수의 머지 후보로 구성된 머지 후보군을 생성하는 단계 및 상기 복수의 머지 후보 중에서 상기 복호화된 머지 인덱스가 지시하는 머지 후보를, 상기 현재 블록의 움직임 정보로 결정하는 단계를 포함할 수 있다. 여기서, 상기 복수의 머지 후보는, 상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 정보, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 정보, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 정보, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 정보, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 시차 중에서 적어도 하나를 포함할 수 있다.
본 발명에 따른 다시점 비디오 부호화 방법에 의하면, 비디오 압축 성능이 향상될 수 있다.
본 발명에 따른 다시점 비디오 복호화 방법에 의하면, 비디오 압축 성능이 향상될 수 있다.
본 발명에 따른 예측 방법에 의하면, 비디오 압축 성능이 향상될 수 있다.
본 발명에 따른 움직임 정보 부호화 방법에 의하면, 비디오 압축 성능이 향상될 수 있다.
본 발명에 따른 움직임 정보 복호화 방법에 의하면, 비디오 압축 성능이 향상될 수 있다.
도 1은 본 발명에 따른 움직임 벡터 부호화 방법이 적용되는 영상 부호화 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 2는 본 발명에 따른 움직임 벡터 복호화 방법이 적용되는 영상 복호화 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 3a 및 도 3b는 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 개략적으로 나타내는 도면이다.
도 4는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 설명하기 위한 도면이다.
도 5a 및 도 5b는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 다른 실시예를 설명하기 위한 도면이다.
도 6은 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 또 다른 실시예를 설명하기 위한 도면이다.
도 7은 다시점 영상에 대한 AMVP에서, 현재 블록에 인접한 주변 블록 및 콜 블록(Col block)의 예측 모드에 따라 현재 블록의 예측 움직임 벡터 후보로 사용되는 움직임 벡터 및 디스패리티 벡터의 실시예를 개략적으로 나타내는 도면이다.
도 8은 본 발명에 따른 부호화기에서의 움직임 정보 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 9는 본 발명에 따른 복호화기에서의 움직임 정보 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 2는 본 발명에 따른 움직임 벡터 복호화 방법이 적용되는 영상 복호화 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 3a 및 도 3b는 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 개략적으로 나타내는 도면이다.
도 4는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 설명하기 위한 도면이다.
도 5a 및 도 5b는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 다른 실시예를 설명하기 위한 도면이다.
도 6은 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 또 다른 실시예를 설명하기 위한 도면이다.
도 7은 다시점 영상에 대한 AMVP에서, 현재 블록에 인접한 주변 블록 및 콜 블록(Col block)의 예측 모드에 따라 현재 블록의 예측 움직임 벡터 후보로 사용되는 움직임 벡터 및 디스패리티 벡터의 실시예를 개략적으로 나타내는 도면이다.
도 8은 본 발명에 따른 부호화기에서의 움직임 정보 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 9는 본 발명에 따른 복호화기에서의 움직임 정보 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명이 상세히 설명된다. 도면에는 특정 실시예들이 예시되어 있으나, 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상에 포함되는 모든 균등물이 포함된다. 본 출원에서 “가지다”, “포함하다” 등의 용어는 명세서 상에 기재된 단계, 구성 등이 존재함을 나타내는 것이지, 하나 또는 그 이상의 다른 단계, 구성 등이나 그 조합 등의 존재 또는 부가 가능성을 의미하는 것이 아니다.
본 발명의 실시예에서 각 구성부들이 독립적으로 도시된 경우, 각각의 특징적인 기능 또는 양태를 나타내기 위한 것으로 각 구성부들이 반드시 분리되어 존재하거나 하나의 소프트웨어 단위로 이루어지는 것은 아니다. 즉, 둘 이상의 구성부들이 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수의 구성부로 나뉘어져 기능을 수행할 수 있으며, 본 발명의 본질에서 벗어나지 않는 실시예들은 본 발명의 권리범위에 포함된다 할 것이다.
도 1은 본 발명에 따른 움직임 벡터 부호화 방법이 적용되는 영상 부호화 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 1의 실시예에서는 다시점(multi-view) 영상에 대해, 시점(view) 간의 시차 정보 및 주변 시점의 움직임 벡터 정보를 기반으로 움직임 벡터가 부호화될 수 있다.
도 1을 참조하면, 본 발명에 따른 다시점 기반의 영상 부호화 장치는 기본 시점 부호화기(100) 및 확장 시점 부호화기(120)를 포함할 있다. 기본 시점 부호화기(100) 및 확장 시점 부호화기(120)에서는 현재 표준화가 진행 중인 차세대 비디오 압축 표준 (High Efficiency Video Coding: HEVC)이 사용 될 수 있다. 즉, 도 1의 실시예에 따른 영상 부호화 장치에서는 두 개의 2차원 영상 부호화기가 사용될 수 있으며, 스테레오 또는 다시점 영상 압축을 위한 부호화 방식이 사용될 수 있다. 여기서, 기본 시점은 독립적으로 부호화되는 영상이 속한 시점을 의미할 수 있고, 확장 시점은 기본 시점의 정보를 이용하여 부호화되는 영상이 속한 시점을 의미할 수 있다.
기본 시점 부호화기(100)는 영상 입력부(101), 인트라 예측 및 인터 예측부(102), 차분 영상 생성부(103), 변환 및 양자화부(104), 엔트로피 부호화부(105), 비트스트림 출력부(106), 향상된 움직임 벡터 예측부(107), 역양자화 및 역 변환부(108), 복원 영상 생성부(109) 및 복원 영상 저장부(110)를 포함할 수 있다. 또한, 확장 시점 부호화기(120)는 영상 입력부(121), 인트라 예측 및 인터 예측부(122), 차분 영상 생성부(123), 변환 및 양자화부(124), 엔트로피 부호화부(125), 비트스트림 출력부(126), 향상된 움직임 벡터 예측부(127), 역양자화 및 역 변환부(128), 복원 영상 생성부(129) 및 복원 영상 저장부(130)를 포함할 수 있다.
도 1의 영상 입력부(101, 121)에는 입력 영상이 입력될 수 있다. 이 때, 기본 시점 부호화기(100)의 영상 입력부(101)에는 기본 시점 입력 영상이 입력될 수 있고, 확장 시점 부호화기(120)의 영상 입력부(121)에는 확장 시점 입력 영상이 입력될 수 있다.
인터 예측 모드에 있는 경우, 인트라 예측 및 인터 예측부(102, 122)는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다. 이 때, 인트라 예측 및 인터 예측부(102, 122)는 움직임 예측(Motion Estimation: ME) 및 움직임 보상(Motion Compensation: MC)을 수행할 수 있다. 또한, 인트라 예측 모드에 있는 경우, 인트라 예측 및 인터 예측부(102, 122)는 현재 픽쳐 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다.
차분 영상 생성부(103, 123)는 현재 블록 및 예측 블록의 차분에 의해 차분 블록을 생성할 수 있다. 생성된 차분 블록은 변환 및 양자화부(104, 124)에 입력될 수 있다. 변환 및 양자화부(104, 124)는 변환 단위로 차분 블록에 대해 주파수 변환을 수행하여 변환 계수를 생성하고, 변환된 값들을 양자화할 수 있다.
엔트로피 부호화부(105, 125)는 양자화된 값들을 엔트로피 부호화함으로써 비트스트림(106, 126)을 생성할 수 있다. 이 때, 기본 시점 부호화기(100)의 엔트로피 부호화부(105)는 기본 시점 비트스트림을 생성할 수 있고, 확장 시점 부호화기(120)의 엔트로피 부호화부(125)는 확장 시점 비트스트림을 생성할 수 있다.
역양자화 및 역 변환부(108, 128)에는 변환 및 양자화부(104, 124)에서 양자화된 변환 계수가 입력되어 역양자화가 수행되며, 이는 역변환되어 복원된 차분 블록이 생성될 수 있다. 복원 영상 생성부(109, 129)는 복원된 차분 블록 및 인트라 예측 및 인터 예측부(102, 122)에서 생성된 예측 블록을 더함으로써 복원 블록을 생성할 수 있다. 복원 블록은 복원 영상 저장부(110, 130)에 제공될 수 있다.
한편, 인터 예측에 사용된 움직임 벡터는 향상된 움직임 벡터 예측부(107, 127)에 입력될 수 있다. 향상된 움직임 벡터 예측부(107, 127)는 현재 블록에 대한 예측 움직임 벡터 후보군을 구성할 수 있다. 또한 인트라 예측 및 인터 예측부(102, 122)는 실제 움직임 예측을 통하여 최적의 움직임 벡터를 구할 수 있다. 향상된 움직임 벡터 예측부(107, 127)는 최적의 움직임 벡터와 예측 움직임 벡터 후보군 간의 차이를 구하여 가장 적은 차이 값을 가지는 후보에 대한 예측 움직임 벡터 인덱스를 도출하여 엔트로피 부호화부(105, 125)로 전달할 수 있다. 이 때, 예측 움직임 벡터의 후보군으로 현재 블록에 인접한 주변 블록의 움직임 벡터들 및 이전 시간의 픽쳐 내에서 동일 위치에 있는 블록의 움직임 벡터 등이 사용될 수 있다.
또한, 확장 시점 부호화기(120)의 향상된 움직임 벡터 예측부(127)는 움직임 벡터 예측을 위한 예측 움직임 벡터 후보군에 추가적으로 시점 간의 시차 정보를 예측 움직임 벡터 후보로 추가할 수 있다. 여기서, 시점 간의 시차를 나타내는 정보에는 일례로 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 등이 있을 수 있다. 시점 간의 시차를 계산하기 위해서 시차 계산부(111)가 추가적으로 사용될 수 있다. 시점 간의 시차는 영상 전체에 대해서 계산될 수도 있고, 프레임, 픽쳐 및/또는 블록 단위에서 계산될 수 있다.
이 때, 일 실시예로 부호화기는 시점 간의 시차 정보를 계산하는 단위에 따라, 시점 간의 시차 정보를 시퀀스 파리미터 셋 (Sequence Parameter Set: SPS) 및/또는 슬라이스 헤더(slice header)에 포함시켜 복호화기로 전송할 수 있다. 이 때, 복호화기는 부호화기로부터 전송된 시점 간의 시차 정보를 예측 움직임 벡터 후보로 사용할 수 있다.
다른 실시예로 시점 간의 시차 정보는 현재 블록의 주변에 위치한, 이전에 부호화된 주변 블록 및/또는 이전 시간에 부호화된 블록(여기서, 이전 시간에 부호화된 블록은 PU에 대응되는 블록 또는 CU에 대응되는 블록일 수 있음)의 시차 정보를 기반으로 도출될 수도 있다. 여기서, 상기 도출되는 시점 간의 시차 정보는 상기 현재 블록에 대응되는 정보일 수 있다. 이 경우, 복호화기는 부호화기로부터 전송되는 추가적인 정보 없이도 블록 단위로 시점 간의 시차 정보를 도출할 수 있다. 따라서, 부호화기는 시점 간의 시차 정보를 복호화기로 전송하지 않을 수 있다.
또한, 확장 시점 부호화기(120)의 향상된 움직임 벡터 예측부(127)는 이전에 부호화된 다른 인접 시점의 움직임 벡터를 현재 블록 또는 CU를 위한 예측 움직임 벡터 후보로 사용될 수 있다. 이 때, 상기 다른 인접 시점에서 현재 블록(여기서, 현재 블록은 PU에 대응되는 블록 또는 CU에 대응되는 블록일 수 있음)에 대응되는 위치에 있는 “대응 블록”의 움직임 벡터가 예측 움직임 벡터 후보로 사용될 수 있다. 일례로 다른 인접 시점에서 현재 블록에 대응되는 대응 블록의 위치는, 상술한 시점 간의 시차 정보를 기반으로 도출될 수 있다.
이 때, 현재 블록에 대응되는 다른 인접 시점의 움직임 벡터는 복수 개일 수 있다. 일례로, 다른 인접 시점에서 현재 블록에 대응되는 “대응 블록”은 복수의 움직임 벡터를 포함할 수 있다.
이러한 경우, 향상된 움직임 벡터 예측부(127)는 다양한 방법에 의해서 예측 움직임 벡터 후보를 결정할 수 있다. 일 실시예로, 향상된 움직임 벡터 예측부(127)는 복수의 움직임 벡터들 중에서 미리 정의된 상대적 위치의 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 또한, 향상된 움직임 벡터 예측부(127)는 복수의 움직임 벡터들 중에서 중간 필터(median filter)에 의해 선택된 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 다른 실시예로, 향상된 움직임 벡터 예측부(127)는, 다른 인접 시점에서 현재 블록에 대응되는 “대응 블록” 내에서, 가장 넓은 면적을 차지하고 있는 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수도 있다. 또 다른 실시예로, 예측 움직임 벡터 후보는, 다른 인접 시점에서 현재 블록에 대응되는 “대응 블록” 내의 픽셀 값들을 기반으로 도출될 수도 있다.
향상된 움직임 벡터 예측부(127)는 본 발명에 따라 예측 움직임 벡터 후보군을 재구성한 이후, 예측 움직임 벡터 후보들 중에서 현재 블록의 움직임 벡터와 가장 작은 차이 값을 갖는 예측 움직임 벡터 후보에 대한 예측 움직임 벡터 인덱스를 도출할 수 있다. 또한, 현재 블록의 움직임 벡터 및 현재 블록에 대한 예측 움직임 벡터 후보의 차분에 의해 움직임 벡터 차분 값을 도출할 수 있다. 도출된 예측 움직임 벡터 인덱스 및 움직임 벡터 차분 값은 엔트로피 부호화부(105, 125)에서 부호화되어 복호화기로 전송될 수 있다.
상술한 실시예는 비록 AMVP 모드가 적용되는 경우를 기준으로 서술되었지만, 본 발명은 이에 한정되는 것은 아니다. 도 1의 영상 부호화 장치는 머지 모드가 적용되는 경우에 대해서도 AMVP 모드에서와 동일하거나 유사한 방식으로 부호화를 수행할 수 있다.
상술한 실시예에서 머지가 적용되는 경우, 향상된 움직임 벡터 예측부(107, 127)는 ‘머지부’로 대체될 수 있다. 또한, 예측 움직임 벡터 후보는 머지 후보로 대체될 수 있고, 예측 움직임 벡터 후보 리스트는 머지 후보 리스트로 대체될 수 있다. 그리고 예측 움직임 벡터 인덱스는 머지 인덱스로 대체될 수 있다.
머지가 적용되는 경우, 머지 인덱스에 의해 지시되는 머지 후보는 그대로 현재 블록의 움직임 정보로 사용될 수 있다. 따라서, 이러한 경우에 부호화기는 움직임 정보의 차분 신호를 복호화기로 전송하지 않을 수 있다.
도 2는 본 발명에 따른 움직임 벡터 복호화 방법이 적용되는 영상 복호화 장치의 실시예를 개략적으로 나타내는 블록도이다.
도 2의 실시예에서는 다시점(multi-view) 영상에 대해, 시점(view) 간의 시차 정보 및 주변 시점의 움직임 벡터 정보를 기반으로 움직임 벡터가 복호화될 수 있다.
도 2을 참조하면, 본 발명에 따른 다시점 기반의 영상 복호화 장치는 기본 시점 복호화기(200) 및 확장 시점 복호화기(210)를 포함할 있다. 기본 시점 복호화기(200) 및 확장 시점 복호화기(210)에서는 현재 표준화가 진행 중인 차세대 비디오 압축 표준 (High Efficiency Video Coding: HEVC)이 사용 될 수 있다. 즉, 도 2의 실시예에 따른 영상 복호화 장치에서는 두 개의 2차원 영상 복호화기가 사용될 수 있으며, 스테레오 또는 다시점 영상 압축을 위한 복호화 방식이 사용될 수 있다.
기본 시점 복호화기(200)는 기본 시점 비트스트림 입력부(201), 엔트로피 복호화부(202), 향상된 움직임 벡터 예측부(203), 역 변환 및 역 양자화부(204), 복원 영상 생성부(205), 인트라 예측 및 인터 예측부(206) 및 복원 영상 저장부(207)를 포함할 수 있다. 또한, 확장 시점 복호화기 (210)는 확장 시점 비트스트림 입력부(211), 엔트로피 복호화부(212), 향상된 움직임 벡터 예측부(213), 역 변환 및 역 양자화부(214), 복원 영상 생성부(215), 인트라 예측 및 인터 예측부(216) 및 복원 영상 저장부(217)를 포함할 수 있다.
도 2의 비트스트림 입력부(201, 202)에는 비트스트림이 입력될 수 있다. 이 때, 기본 시점 비트스트림 입력부(201)에는 기본 시점 비트스트림이 입력될 수 있고, 확장 시점 비트스트림 입력부(211)에는 확장 시점 비트스트림이 입력될 수 있다.
엔트로피 복호화부(202, 212)는 수신된 비트 스트림을 엔트로피 복호화할 수 있다. 이 때, 예측 모드, 움직임 벡터 정보(예를 들어, 예측 움직임 벡터 인덱스, 움직임 벡터 차분 값 및 시점 간의 시차 정보 등), 시점 간의 시차 정보 등이 비트스트림에 포함되는 경우 이를 함께 엔트로피 복호화할 수 있다. 특히, 부호화기로부터 전송되어 엔트로피 복호화된 예측 움직임 벡터 인덱스, 움직임 벡터 차분 값 및 시점 간의 시차 정보 등은 향상된 움직임 벡터 예측부(203, 213)에 입력될 수 있다.
역 변환 및 역 양자화부(204, 214)에는 엔트로피 복호화된 변환 계수가 입력되어 역양자화될 수 있다. 또한, 역 변환 및 역 양자화부(204, 214)는 역양자화된 변환 계수를 역변환하여 차분 블록을 생성할 수 있다.
인트라 예측 및 인터 예측부(206, 216)는 예측을 수행하여 현재 블록에 대응되는 예측 블록을 생성할 수 있다. 인트라 예측 및 인터 예측부(206, 216)의 동작은 영상 부호화 장치의 인트라 예측 및 인터 예측부(102, 122)의 동작과 유사하므로 여기서는 생략하기로 한다.
복원 영상 생성부(205, 215)는 차분 블록 및 예측 블록을 더함으로써 복원 블록을 생성할 수 있다. 생성된 복원 블록 및/또는 복원 영상은 복원 영상 저장부(207, 217)에 저장될 수 있다. 저장된 최종 복원 영상은 예측을 수행하는 인트라 예측 및 인터 예측부(206, 216)에 제공될 수 있다.
한편, 향상된 움직임 벡터 예측부(203, 213)는 현재 블록에 대한 예측 움직임 벡터 후보군을 구성할 수 있다. 이 때, 예측 움직임 벡터의 후보군으로 현재 블록에 인접한 주변 블록의 움직임 벡터들 및 이전 시간의 픽쳐 내에서 동일 위치에 있는 블록의 움직임 벡터 등이 사용될 수 있다.
또한, 확장 시점 복호화기(210)의 향상된 움직임 벡터 예측부(213)는 움직임 벡터 예측을 위한 예측 움직임 벡터 후보군에 추가적으로 시점 간의 시차 정보를 예측 움직임 벡터 후보로 추가할 수 있다. 여기서, 일례로 시점 간의 시차 정보는 부호화기로부터 전송된 정보일 수 있다. 이 때, 상기 시점 간의 시차 정보는 SPS 및/또는 슬라이스 헤더에 포함되어 전송된 정보일 수 있다. 다른 예로 시점 간의 시차 정보는 현재 블록(여기서, 현재 블록은 PU에 대응되는 블록 또는 CU에 대응되는 블록일 수 있음)에 인접하여 위치한 주변 블록 및/또는 이전 시간에 복호화된 블록(여기서, 이전 시간에 복호화된 블록은 PU에 대응되는 블록 또는 CU에 대응되는 블록일 수 있음)의 시차 정보를 기반으로 도출될 수도 있다.
또한, 확장 시점 복호화기(210)의 향상된 움직임 벡터 예측부(213)는 이전에 복호화된 다른 인접 시점의 움직임 벡터를 현재 블록 또는 CU를 위한 예측 움직임 벡터 후보로 사용할 수 있다. 다른 인접 시점의 움직임 벡터를 도출하는 방식은 영상 부호화 장치에서와 유사하므로, 이에 대한 구체적인 실시예는 생략하기로 한다.
향상된 움직임 벡터 예측부(213)는 본 발명에 따라 예측 움직임 벡터 후보군을 재구성한 이후, 엔트로피 복호화부(212)에서 전송받은 예측 움직임 벡터 인덱스를 기반으로 현재 블록에 대한 예측 움직임 벡터를 도출할 수 있다. 향상된 움직임 벡터 예측부(213)는 도출된 예측 움직임 벡터 및 움직임 벡터 차분 값을 더함으로써 현재 블록의 실제 움직임 벡터를 도출할 수 있다. 여기서, 움직임 벡터 차분 값은 부호화기에서 부호화되어 복호화기로 전송되는 값일 수 있다. 도출된 움직임 벡터는 인트라 예측 및 인터 예측부(216)에 전달되어 인터 예측에 사용될 수 있다.
상술한 실시예는 비록 AMVP 모드가 적용되는 경우를 기준으로 서술되었지만, 본 발명은 이에 한정되는 것은 아니다. 도 2의 영상 복호화 장치는 머지 모드가 적용되는 경우에 대해서도 AMVP 모드에서와 동일하거나 유사한 방식으로 복호화를 수행할 수 있다.
상술한 실시예에서 머지가 적용되는 경우, 향상된 움직임 벡터 예측부(203, 213)는 ‘머지부’로 대체될 수 있다. 또한, 예측 움직임 벡터 후보는 머지 후보로 대체될 수 있고, 예측 움직임 벡터 후보 리스트는 머지 후보 리스트로 대체될 수 있다. 그리고 예측 움직임 벡터 인덱스는 머지 인덱스로 대체될 수 있다.
머지가 적용되는 경우, 머지 인덱스에 의해 지시되는 머지 후보는 그대로 현재 블록의 움직임 정보로 사용될 수 있다.
이하, 후술되는 실시예들은 도 1 및 도 2의 실시예에서와 마찬가지로 AMVP 모드가 적용되는 경우를 기준으로 서술된다. 그러나, 본 발명은 이에 한정되는 것은 아니며 후술되는 실시예들은 머지 모드가 적용되는 경우에 대해서도 동일하거나 유사한 방식으로 적용될 수 있다. 이 때, 예측 움직임 벡터 후보는 머지 후보로 대체될 수 있고, 예측 움직임 벡터 후보 리스트는 머지 후보 리스트로 대체될 수 있다. 그리고 예측 움직임 벡터 인덱스는 머지 인덱스로 대체될 수 있다.
도 3a 및 도 3b는 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 개략적으로 나타내는 도면이다.
상술한 바와 같이, AMVP에서는 현재 블록에 인접한 주변 블록의 움직임 벡터들 및 이전 시간의 픽쳐 내에서 동일 위치에 있는 블록의 움직임 벡터 등이 사용될 수 있다. 일례로, AMVP에서는 {현재 블록의 좌측에 위치한 주변 블록들 중 하나의 움직임 벡터, 현재 블록의 상단에 위치한 주변 블록들 중 하나의 움직임 벡터, 이전 시간의 픽쳐 내의 블록들 중 하나의 움직임 벡터}가 예측 움직임 벡터 후보군으로 사용될 수 있다.
도 3a를 참조하면, 현재 블록(여기서, 현재 블록은 하나의 PU에 대응되는 블록 또는 하나의 CU에 대응되는 블록일 수 있음, 300)은 움직임 벡터의 부호화를 위해 복수의 예측 움직임 벡터 후보를 이용할 수 있다. 일례로, 이전에 부호화/복호화된 좌측 주변 블록들(310) 중 하나의 블록에 대한 움직임 벡터가 예측 움직임 벡터 후보로 선택되어 예측 움직임 벡터 후보군에 포함될 수 있다. 또한, 이전에 부호화/복호화된 상단 주변 블록들(320) 중 하나의 블록에 대한 움직임 벡터가 예측 움직임 벡터 후보로 선택되어 예측 움직임 벡터 후보군에 포함될 수 있다. 이와 같이 현재 블록의 주변에 위치한 블록으로부터 도출되는 예측 움직임 벡터 후보는 ‘공간적(spatial) 예측 움직임 벡터 후보’로도 불릴 수 있다.
도 3a에 도시된 바와 같이 좌측 주변 블록(310)은 복수 개일 수 있으며, 상단 주변 블록(320)은 복수 개일 수 있다. 이러한 경우, 향상된 움직임 벡터 예측부는 다양한 방법에 의해서 예측 움직임 벡터 후보를 결정할 수 있다. 일례로, 향상된 움직임 벡터 예측부는 복수의 움직임 벡터들 중에서 미리 정의된 상대적 위치의 움직임 벡터 또는 복수의 움직임 벡터들 중에서 중간 필터(median filter)에 의해 선택된 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 다른 예로, 향상된 움직임 벡터 예측부는 가장 넓은 면적을 차지하고 있는 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 또 다른 예로, 향상된 움직임 벡터 예측부는 좌측 주변 블록(310)을 소정의 순서로 확인하여 유효한 움직임 벡터를 갖는 첫 번째 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정하고 상단 주변 블록(320)을 소정의 순서로 확인하여 유효한 움직임 벡터를 갖는 첫 번째 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수도 있다. 또 다른 예로, 향상된 움직임 벡터 예측부는 차세대 비디오 압축 표준에서 사용하는 방법에 의해서 복수의 블록들 중에서 예측 움직임 벡터 후보를 갖는 블록을 선택할 수도 있다.
또한 AMVP에서 향상된 움직임 벡터 예측부는, 예측 움직임 벡터 후보 선택시에 현재 블록의 참조 픽쳐와 동일한 참조 픽쳐를 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수도 있다.
한편, AMVP에서는 이전에 부호화/복호화된 주변 블록의 움직임 벡터뿐만 아니라 이전 시간의 픽쳐 내에서 현재 블록과 동일 위치에 있는 블록의 움직임 벡터도, 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보로 사용될 수 있다.
도 3b를 참조하면, 현재 블록(300)은 시간 t에 대응되는 블록 또는 t의 POC(Picture Order Count) 값을 갖는 블록일 수 있다. 여기서, POC는 픽쳐의 출력 순서를 나타낼 수 있다. 이 때, 이전 시간 t-1에 부호화된 픽쳐 또는 t-1의 POC 값을 갖는 픽쳐 내에서 현재 블록(300)과 동일 위치에 있는 블록들(331, 332, 333, 334, 335, 336, 337) 중 하나의 블록에 대한 움직임 벡터가 현재 블록(300)의 예측 움직임 벡터 후보로 사용될 수 있다. 이와 같이 이전 시간에 부호화/복호화된 픽쳐 내의 블록으로부터 도출되는 예측 움직임 벡터 후보는 ‘시간적(temporal) 예측 움직임 벡터 후보’로도 불릴 수 있다.
이 때, 이전 시간의 픽쳐 내에서 현재 블록과 동일 위치에 있는 부호화된 블록은 복수의 블록으로 나누어질 수 있다. 따라서, 상기 동일 위치의 블록은 복수 개의 움직임 벡터를 포함할 수 있다.
이러한 경우, 향상된 움직임 벡터 예측부는 다양한 방법에 의해서 예측 움직임 벡터 후보를 결정할 수 있다. 일례로, 향상된 움직임 벡터 예측부는 복수의 움직임 벡터들 중에서 미리 정의된 상대적 위치의 움직임 벡터 또는 복수의 움직임 벡터들 중에서 중간 필터(median filter)에 의해 선택된 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 다른 예로, 향상된 움직임 벡터 예측부는 가장 넓은 면적을 차지하고 있는 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 또 다른 예로, 향상된 움직임 벡터 예측부는 차세대 비디오 압축 표준에서 사용하는 방법에 의해서 복수의 블록들 중에서 예측 움직임 벡터 후보를 갖는 블록을 선택할 수도 있다.
이 때, 향상된 움직임 벡터 예측부는, 예측 움직임 벡터 후보 선택시에 현재 블록의 참조 픽쳐와 동일한 참조 픽쳐를 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다.
상술한 실시예는 현재 블록에 대응되는 시간 또는 POC 값이 t이고 이전 시간의 블록에 대응되는 시간 또는 POC 값이 t-1인 경우에 대해 서술되고 있으나 본 발명은 이에 한정되는 것은 아니다. 예를 들어, 현재 블록에 대응되는 시간 또는 POC 값이 t인 경우, 예측 움직임 벡터 후보 도출에 사용되는 이전 시간 블록의 시간 또는 POC 값은 t-1이 아닌 임의의 시간 또는 t-1이 아닌 임의의 POC 값을 가질 수도 있다.
이하, 본 명세서에서는 설명의 편의상 ‘t의 POC 값’및 ‘t의 시간 값’을 모두 ‘t 시간’으로 지칭하기로 한다. 즉, 후술되는 실시예에서 t 시간이라 함은, t의 시간 값 또는 t의 POC 값을 의미할 수 있다. 예를 들어, 본 명세서에서 t 시간의 영상은 t의 POC 값을 갖는 영상을 의미할 수도 있다. 또한, 후술되는 실시예에서는 설명의 편의상 현재 시간을 t 시간이라 하고 이전 시간을 t-1 시간이라 한다. 그러나, 본 발명은 이에 한정되는 것은 아니며 이전 시간은 t-1 시간이 아닌 임의의 시간에 해당될 수도 있다.
도 4는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 실시예를 설명하기 위한 도면이다.
도 4에서 V0 t는 기본 시점(V0)에 속한 t 시간의 영상 및/또는 블록을 나타내고, V1 t는 확장 시점(V1)에 속한 t 시간의 영상 및/또는 블록을 나타낸다. 또한, V1 t-1은 확장 시점(V1)에 속한 t-1 시간의 영상 및/또는 블록을 나타낼 수 있다.
도 4를 참조하면, 현재 블록(여기서, 현재 블록은 하나의 PU에 대응되는 블록 또는 하나의 CU에 대응되는 블록일 수 있음, 400)은 확장 시점(V1)에 속한 t 시간의 영상에 속한 블록일 수 있다. 이 때, 현재 블록(400)의 공간적 예측 움직임 벡터 후보는 좌측 블록(410) 및 상단 블록(420)의 움직임 벡터를 기반으로 도출된다고 가정한다.
일 실시예로, 현재 블록(400)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(400)과 동일한 시점(V1)에 속한 t-1 시간의 복원 영상일 수 있다. 즉, 현재 블록(400)은 동일 시점에 속한 t-1 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
도 4의 실시예에서 좌측 블록(410)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 이 때, 좌측 블록(410)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(410)에 대응되는 블록을 지시할 수 있다. 또한, 상단 블록(420)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 이 때, 상단 블록(420)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 상단 블록(420)에 대응되는 블록을 지시할 수 있다. 상단 블록(420)의 예측에 사용된 움직임 벡터는 상단 블록(420)과 다른 시점(V0)에 속한 참조 영상에서 상단 블록(420)에 대응되는 블록을 지시하므로, 디스패리티 벡터(Disparity Vector: DV)로도 불릴 수 있다.
이 때, 상술한 바와 같이, AMVP에서 향상된 움직임 벡터 예측부는 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보 선택시에 현재 블록(400)의 참조 영상과 동일한 참조 영상을 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다. 따라서, 이 경우 현재 블록(400)과 다른 참조 영상을 사용하는 상단 블록(420)의 움직임 벡터는 현재 블록(400)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
다른 실시예로, 현재 블록(400)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(400)과 다른 인접 시점(V0)에 속한 t 시간의 복원 영상일 수 있다. 즉, 현재 블록(400)은 다른 인접 시점에 속한 t 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
도 4의 실시예에서 좌측 블록(410)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 이 때, 좌측 블록(410)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(410)에 대응되는 블록을 지시할 수 있다. 또한, 상단 블록(420)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 이 때, 상단 블록(420)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 상단 블록(420)에 대응되는 블록을 지시할 수 있다.
이 때, 상술한 바와 같이, AMVP에서 향상된 움직임 벡터 예측부는 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보 선택시에 현재 블록(400)의 참조 픽쳐와 동일한 참조 픽쳐를 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다. 따라서, 이 경우 현재 블록(400)과 다른 참조 픽쳐를 사용하는 좌측 블록(410)의 움직임 벡터는 현재 블록(400)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
따라서, 도 4의 실시예에서는 각각의 참조 영상에 따라 모든 블록의 움직임 벡터가 예측 움직임 벡터 후보로 사용되지 않는 경우가 발생할 수 있다.
도 5a 및 도 5b는 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 다른 실시예를 설명하기 위한 도면이다.
도 5a 및 도 5b에서 V0 t는 기본 시점(V0)에 속한 t 시간의 영상 및/또는 블록을 나타내고, V0 t-1는 기본 시점(V0)에 속한 t-1 시간의 영상 및/또는 블록을 나타낼 수 있다. 또한, V1 t는 확장 시점(V1)에 속한 t 시간의 영상 및/또는 블록을 나타내고, V1 t-1은 확장 시점(V1)에 속한 t-1 시간의 영상 및/또는 블록을 나타낼 수 있다.
도 5a 및 도 5b를 참조하면, 현재 블록(여기서, 현재 블록은 하나의 PU에 대응되는 블록 또는 하나의 CU에 대응되는 블록일 수 있음, 500, 510)은 확장 시점(V1)에 대응되는 t 시간의 영상에 속한 블록일 수 있다.
일 실시예로, 현재 블록(500, 510)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(500, 510)과 동일한 시점(V1)에 속한 t-1 시간의 복원 영상이라 가정한다. 이 때, 현재 블록(500, 510)은 동일 시점에 속한 t-1 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
이 경우, 도 5a의 실시예에서 좌측 블록(501)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(501)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(501)에 대응되는 블록(502)을 지시할 수 있다. 또한, 상단 블록(503)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(503)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 상단 블록(503)에 대응되는 블록(504)을 지시할 수 있다. 여기서, 상단 블록(503)의 예측에 사용된 움직임 벡터는 상단 블록(503)과 다른 시점(V0)에 속한 참조 영상에서 상단 블록(503)에 대응되는 블록(504)을 지시하므로, 디스패리티 벡터(Disparity Vector: DV)로도 불릴 수 있다.
상술한 바와 같이, AMVP에서 향상된 움직임 벡터 예측부는 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보 선택시에 현재 블록(500)의 참조 영상과 동일한 참조 영상을 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다. 따라서, 이 경우 현재 블록(500)과 다른 참조 영상을 사용하는 상단 블록(503)의 움직임 벡터는 현재 블록(500)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
이 때, 향상된 움직임 벡터 예측부는 상단 블록(503)이 참조하는 참조 영상(기본 시점(V0)에 속한 t 시간의 참조 영상) 내에서 상기 상단 블록(503)의 움직임 벡터가 지시하는 블록(504)의 움직임 벡터를, 현재 블록(500)에 대한 예측 움직임 벡터 후보로 추가할 수 있다. 즉, 향상된 움직임 벡터 예측부는 상단 블록(503)의 움직임 벡터가 지시하는, 다른 인접 시점(예를 들어, 기본 시점)에 속한 블록(504)의 움직임 벡터를 현재 블록(500)에 대한 예측 움직임 벡터 후보로 사용할 수 있다.
여기서, 상단 블록(503)의 움직임 벡터가 지시하는 블록(504)은 이전에 이미 부호화/복호화된 블록일 수 있다. 또한, 도 5a의 실시예에서 블록 504의 움직임 벡터가 지시하는 블록(505)은 기본 시점(V0)에 속한 t-1 시간의 복원 영상에 속한 블록일 수 있다.
상술한 실시예에 따르면, 도 5a의 실시예에서 예측 움직임 벡터 후보군은 {좌측 블록(501)의 움직임 벡터, 시간적 예측 움직임 벡터 후보, 다른 인접 시점(예를 들어, 기본 시점)에 속한 블록(504)의 움직임 벡터}로 구성될 수 있다.
도 5b의 실시예에서 좌측 블록(511)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(511)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 좌측 블록(511)에 대응되는 블록(514)을 지시할 수 있다. 여기서, 좌측 블록(511)의 예측에 사용된 움직임 벡터는 좌측 블록(511)과 다른 시점(V0)에 속한 참조 영상에서 좌측 블록(511)에 대응되는 블록(514)을 지시하므로, 디스패리티 벡터(Disparity Vector: DV)로도 불릴 수 있다. 또한, 상단 블록(513)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(513)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 상단 블록(513)에 대응되는 블록(512)을 지시할 수 있다. 이 경우 현재 블록(510)과 다른 참조 영상을 사용하는 좌측 블록(511)의 움직임 벡터는 현재 블록(510)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
이 때, 향상된 움직임 벡터 예측부는 좌측 블록(511)이 참조하는 참조 영상(기본 시점(V0)에 속한 t 시간의 참조 영상) 내에서 상기 좌측 블록(511)의 움직임 벡터가 지시하는 블록(514)의 움직임 벡터를, 현재 블록(510)에 대한 예측 움직임 벡터 후보로 추가할 수 있다. 즉, 향상된 움직임 벡터 예측부는 좌측 블록(511)의 움직임 벡터가 지시하는, 다른 인접 시점(예를 들어, 기본 시점)에 속한 블록(514)의 움직임 벡터를 현재 블록(510)에 대한 예측 움직임 벡터 후보로 사용할 수 있다.
여기서, 좌측 블록(511)의 움직임 벡터가 지시하는 블록(514)은 이전에 이미 부호화/복호화된 블록일 수 있다. 또한, 도 5b의 실시예에서 블록 514의 움직임 벡터가 지시하는 블록(515)은 기본 시점(V0)에 속한 t-1 시간의 복원 영상에 속한 블록일 수 있다.
상술한 실시예에 따르면, 도 5b의 실시예에서 예측 움직임 벡터 후보군은 {상단 블록(513)의 움직임 벡터, 시간적 예측 움직임 벡터 후보, 다른 인접 시점(예를 들어, 기본 시점)에 속한 블록(514)의 움직임 벡터}로 구성될 수 있다.
다른 실시예로, 현재 블록(500, 510)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(500, 510)과 다른 인접 시점(V0, 예를 들어, 기본 시점)에 속한 t 시간의 복원 영상이라 가정한다. 이 때, 현재 블록(500, 510)은 다른 인접 시점(V0, 예를 들어, 기본 시점)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
이 경우, 도 5a의 실시예에서 좌측 블록(501)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(501)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(501)에 대응되는 블록(502)을 지시할 수 있다. 또한, 상단 블록(503)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(503)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 상단 블록(503)에 대응되는 블록(504)을 지시할 수 있다. 여기서, 상단 블록(503)의 예측에 사용된 움직임 벡터는 상단 블록(503)과 다른 시점(V0)에 속한 참조 영상에서 상단 블록(503)에 대응되는 블록(504)을 지시하므로, 디스패리티 벡터(Disparity Vector: DV)로도 불릴 수 있다.
상술한 바와 같이, AMVP에서 향상된 움직임 벡터 예측부는 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보 선택시에 현재 블록(500)의 참조 영상과 동일한 참조 영상을 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다. 따라서, 이 경우 현재 블록(500)과 다른 참조 영상을 사용하는 좌측 블록(501)의 움직임 벡터는 현재 블록(500)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
이 때, 향상된 움직임 벡터 예측부는 현재 블록(500)이 속한 시점(V1) 및 다른 인접 시점(V0, 예를 들어, 기본 시점) 간의 시차 및/또는 변이를 나타내는 벡터를 도출한 후, 상기 도출된 벡터를 현재 블록(500)에 대한 예측 움직임 벡터 후보로 추가할 수 있다. 이 때, 상기 도출된 벡터는 글로벌 디스패리티 벡터(Global Disparity Vector, 이하 GDV라 함)로도 불릴 수 있다.
상술한 실시예에 따르면, 도 5a의 실시예에서 예측 움직임 벡터 후보군은 {상단 블록(503)의 움직임 벡터, 시간적 예측 움직임 벡터 후보, 글로벌 디스패리티 벡터}로 구성될 수 있다.
도 5b의 실시예에서 좌측 블록(511)은 기본 시점(V0)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(511)의 예측에 사용된 움직임 벡터는 기본 시점(V0)에 속한 t 시간의 참조 영상에서, 상기 좌측 블록(511)에 대응되는 블록(514)을 지시할 수 있다. 여기서, 좌측 블록(511)의 예측에 사용된 움직임 벡터는 좌측 블록(511)과 다른 시점(V0)에 속한 참조 영상에서 좌측 블록(511)에 대응되는 블록(514)을 지시하므로, 디스패리티 벡터(Disparity Vector: DV)로도 불릴 수 있다. 또한, 상단 블록(513)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(513)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 상단 블록(513)에 대응되는 블록(512)을 지시할 수 있다. 이 경우 현재 블록(510)과 다른 참조 영상을 사용하는 상단 블록(513)의 움직임 벡터는 현재 블록(510)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
이 때, 향상된 움직임 벡터 예측부는 현재 블록(510)이 속한 시점(V1) 및 다른 인접 시점(V0, 예를 들어, 기본 시점) 간의 시차 및/또는 변이를 나타내는 벡터(GDV)를 도출한 후, 상기 도출된 벡터를 현재 블록(510)에 대한 예측 움직임 벡터 후보로 추가할 수 있다.
상술한 실시예에 따르면, 도 5b의 실시예에서 예측 움직임 벡터 후보군은 {좌측 블록(511)의 움직임 벡터, 시간적 예측 움직임 벡터 후보, 글로벌 디스패리티 벡터}로 구성될 수 있다.
도 6은 다시점 영상에 대한 AMVP에서 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보의 또 다른 실시예를 설명하기 위한 도면이다.
도 6에서 V0 t는 기본 시점(V0)에 속한 t 시간의 영상 및/또는 블록을 나타내고, V0 t-1는 기본 시점(V0)에 속한 t-1 시간의 영상 및/또는 블록을 나타낼 수 있다. 또한, V1 t는 확장 시점(V1)에 속한 t 시간의 영상 및/또는 블록을 나타내고, V1 t-1은 확장 시점(V1)에 속한 t-1 시간의 영상 및/또는 블록을 나타낼 수 있다.
도 6을 참조하면, 현재 블록(여기서, 현재 블록은 하나의 PU에 대응되는 블록 또는 하나의 CU에 대응되는 블록일 수 있음, 600)은 확장 시점(V1)에 대응되는 t 시간의 영상에 속한 블록일 수 있다.
일 실시예로, 현재 블록(500, 510)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(500, 510)과 동일한 시점(V1)에 속한 t-1 시간의 복원 영상이라 가정한다. 이 때, 현재 블록(500, 510)은 동일 시점에 속한 t-1 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
이 경우, 도 6의 실시예에서 좌측 블록(610)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(610)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(610)에 대응되는 블록(620)을 지시할 수 있다. 또한, 상단 블록(630)도 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(630)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 상단 블록(630)에 대응되는 블록(640)을 지시할 수 있다.
이 때, 향상된 움직임 벡터 예측부는, 현재 블록(600)이 속한 시점(V1)과 다른 인접 시점(V0, 예를 들어, 기본 시점)에 속한 참조 영상 내에서, 현재 블록(600)과 공간적으로 동일한 위치에 존재하는 블록(650)의 움직임 벡터를 현재 블록(600)에 대한 예측 움직임 벡터 후보로 추가할 수 있다. 이 때, 상기 참조 영상은 t 시간(동일 시간)의 복원 영상에 해당될 수 있다. 도 6의 실시예에서 블록 650의 움직임 벡터가 지시하는 블록(660)은 일례로 기본 시점(V0)에 속한 t-1 시간의 복원 영상에 속한 블록일 수 있다.
상술한 실시예에 따르면, 도 6의 실시예에서 예측 움직임 벡터 후보군은 {좌측 블록(610)의 움직임 벡터, 상단 블록(630)의 움직임 벡터, 다른 인접 시점(예를 들어, 기본 시점)의 영상 내에서 현재 블록(600)과 동일한 위치에 존재하는 블록의 움직임 벡터}로 구성될 수 있다.
상술한 실시예에서는, 다른 시점(V0, 예를 들어, 기본 시점)에 속한 참조 영상 내에서, 현재 블록(600)과 공간적으로 동일한 위치에 존재하는 블록(650)의 움직임 벡터가 예측 움직임 벡터 후보로 사용된다. 그러나, 본 발명은 이에 한정되는 것은 아니다.
예를 들어, 향상된 움직임 벡터 예측부는 다른 시점(V0)의 참조 영상 내에서, 현재 블록(600)과 공간적으로 동일한 위치에 존재하지 않는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수도 있다. 즉, 향상된 움직임 벡터 예측부는 다른 시점(V0)의 참조 영상 내에서 “동일 위치”가 아닌 “대응 위치”에 존재하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 사용할 수 있다. 상기 “대응 위치”의 블록은 현재 블록(600)이 속한 시점(V1) 및 다른 인접 시점(V0, 예를 들어, 기본 시점) 간의 시차 및/또는 변이 값을 기반으로 도출될 수 있다. 다시점 영상에서는 서로 다른 시점을 갖는 영상 간에 시차 및/또는 변이가 존재하므로, “동일 위치”에 존재하는 블록의 움직임 벡터 대신에, 시차를 고려하여 도출된 “대응 위치”에 존재하는 블록의 움직임 벡터를 사용하는 것이 바람직할 수 있다. 여기서, 현재 블록(600)이 속한 시점(V1) 및 다른 인접 시점(V0, 예를 들어, 기본 시점) 간의 시차 및/또는 변이 값은 일례로 GDV에 해당될 수 있다.
다른 실시예로, 현재 블록(600)의 인터 예측에 사용되는 참조 영상은 상기 현재 블록(600)과 다른 인접 시점(V0, 예를 들어, 기본 시점)에 속한 t 시간의 복원 영상이라 가정한다. 이 때, 현재 블록(600)은 다른 인접 시점(V0, 예를 들어, 기본 시점)에 속한 t 시간의 복원 영상을 참조 영상으로 사용하여 예측을 수행할 수 있다.
이 경우, 도 6의 실시예에서 좌측 블록(610)은 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 좌측 블록(610)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 좌측 블록(610)에 대응되는 블록(620)을 지시할 수 있다. 또한, 상단 블록(630)도 동일 시점(V1)에 속한 이전 시간 t-1의 복원 영상을 참조 영상으로 사용하는 블록일 수 있다. 즉, 상단 블록(630)의 예측에 사용된 움직임 벡터는 동일 시점(V1)에 속한 이전 시간 t-1의 참조 영상에서, 상기 상단 블록(630)에 대응되는 블록(640)을 지시할 수 있다.
상술한 바와 같이, AMVP에서 향상된 움직임 벡터 예측부는 예측 움직임 벡터 후보군에 포함되는 예측 움직임 벡터 후보 선택시에 현재 블록(600)의 참조 영상과 동일한 참조 영상을 사용하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 결정할 수 있다. 따라서, 이 경우 현재 블록(600)과 다른 참조 영상을 사용하는 좌측 블록(610) 및 상단 블록(630)의 움직임 벡터는 현재 블록(600)의 예측 움직임 벡터 후보로 사용되지 않을 수 있다.
이 때, 향상된 움직임 벡터 예측부는 현재 블록(600)이 속한 시점(V1) 및 다른 인접 시점(V0, 예를 들어, 기본 시점) 간의 시차 및/또는 변이를 나타내는 벡터(GDV)를 도출한 후, 상기 도출된 벡터(GDV)를 현재 블록(500)에 대한 예측 움직임 벡터 후보로 추가할 수 있다.
상술한 실시예에 따르면, 도 6의 실시예에서 예측 움직임 벡터 후보군은 {시간적 예측 움직임 벡터 후보, 글로벌 디스패리티 벡터}로 구성될 수 있다.
한편, 상술한 도 5a, 도 5b 및 도 6에서 제안된 예측 움직임 벡터 후보 도출 방식의 실시예들은 크게 두 가지의 카테고리로 나누어질 수 있다. 다만, 후술되는 카테고리는 하나의 실시예로서 본 발명에 따른 예측 움직임 벡터 후보 도출 방식은 후술되는 카테고리에 한정되는 것은 아니다.
하나의 카테고리로서, 현재 블록의 인터 예측에 사용되는 참조 영상은 동일 시점의 이전 시간에 존재하는 영상일 수 있다. 즉, 현재 블록에 대해 탐색되는 움직임 벡터는, 현재 블록과 동일 시점을 갖는 이전 시간의 참조 영상에 대응될 수 있다. 이하, 본 명세서에서는 동일 시점(view) 및 이전 시간의 참조 영상에 대응되는 움직임 벡터의 예측 과정은 ‘시간적 움직임 벡터 예측’이라 한다. 시간적 움직임 벡터 예측 과정에서 향상된 움직임 벡터 예측부는, 현재 블록이 속한 시점(view)과 다른 시점에 속한 참조 영상 내에서, 현재 블록에 대응되는 “대응 위치”에 존재하는 블록의 움직임 벡터를 예측 움직임 벡터 후보로 추가할 수 있다. 여기서, 상기 “대응 위치”의 블록은 상술한 바와 같이 현재 블록이 속한 시점 및 다른 시점 간의 시차 및/또는 변이 값을 기반으로 도출될 수 있다.
다른 카테고리로서, 현재 블록의 인터 예측에 사용되는 참조 영상은, 현재 블록이 속한 시점과 다른 시점에 속한 동일 시간의 영상일 수 있다. 즉, 현재 블록에 대해 탐색되는 움직임 벡터는, 현재 블록과 다른 시점을 갖는 동일 시간의 참조 영상에 대응될 수 있다. 이하, 본 명세서에서는 다른 시점(view) 및 동일 시간의 참조 영상에 대응되는 움직임 벡터의 예측 과정은 ‘인터-뷰(inter-view) 움직임 벡터 예측’이라 한다. 인터-뷰 움직임 벡터 예측 과정에서 향상된 움직임 벡터 예측부는, 시점 간의 시차 정보를 예측 움직임 벡터 후보로 추가할 수 있다. 일례로, 상기 시점 간의 시차 정보는, 현재 블록이 속한 시점(view) 및 다른 인접 시점 간의 시차 및/또는 변이를 나타내는 GDV에 해당될 수 있다.
본 발명에 따르면, 예측 움직임 벡터 후보군의 구성은 현재 블록에 인접한 주변 블록(예를 들어, 좌측 블록 및 상단 블록)의 움직임 벡터 조건(및/또는 움직임 벡터 예측 방식)에 따라 달라질 수 있다. 다음 표 1은 주변 블록의 움직임 벡터 조건(및/또는 움직임 벡터 예측 방식)에 따른, 현재 블록의 예측 움직임 벡터 후보군 구성의 실시예를 나타낸다. 표 1의 실시예에서 시간적 예측 움직임 벡터 후보는 항상 예측 움직임 벡터 후보군에 포함된다고 가정한다.
[표 1]
표 1의 실시예에서, “Temporal”은 좌측 블록 및/또는 상단 블록이 시간적 움직임 벡터 예측이 적용된 블록임을 나타낼 수 있다. 또한, “Inter-view”는 좌측 블록 및/또는 상단 블록이 인터-뷰 움직임 벡터 예측이 적용된 블록임을 나타낼 수 있다. 그리고, “N/A”는 좌측 블록 및/또는 상단 블록에 유효한 움직임 벡터가 존재하지 않음을 나타낼 수 있다.
표 1은 현재 블록에 시간적 움직임 벡터 예측이 적용되는 경우 및 현재 블록에 인터-뷰 움직임 벡터 예측이 적용되는 경우 각각에 대해, 예측 움직임 벡터 후보군의 구성의 실시예를 나타낸다.
표 1을 참조하면, 일례로 좌측 블록이 시간적 움직임 벡터 예측이 적용된 블록이고, 상단 블록이 인터-뷰 움직임 벡터 예측이 적용된 블록이고, 현재 블록에 대해 시간적 움직임 벡터 예측이 적용되는 경우, 예측 움직임 벡터 후보군은 {좌측 블록의 움직임 벡터, 시간적 예측 움직임 벡터 부호, 현재 블록이 속한 시점과 다른 시점에 속한 블록의 직임 벡터}로 구성될 수 있다. 또한, 좌측 블록이 시간적 움직임 벡터 예측이 적용된 블록이고, 상단 블록이 인터-뷰 움직임 벡터 예측이 적용된 블록이고, 현재 블록에 대해 인터-뷰 움직임 벡터 예측이 적용되는 경우, 예측 움직임 벡터 후보군은 {상단 블록의 움직임 벡터, 시간적 예측 움직임 벡터 후보, 글로벌 디스패리티 벡터}로 구성될 수 있다.
도 7은 다시점 영상에 대한 AMVP에서, 현재 블록에 인접한 주변 블록 및 콜 블록(Col block)의 예측 모드에 따라 현재 블록의 예측 움직임 벡터 후보로 사용되는 움직임 벡터 및 디스패리티 벡터의 실시예를 개략적으로 나타내는 도면이다.
도 7에서, ‘좌측 블록’은 현재 블록의 좌측에 인접하여 위치한 블록을 의미하고, ‘상단 블록’은 현재 블록의 상단에 인접하여 위치한 블록을 의미할 수 있다. 또한, ‘콜 블록’은 현재 블록의 예측에 사용되는 이전 시간의 픽쳐 내의 블록을 의미할 수 있다. 일례로, 콜 블록은 상기 이전 시간의 픽쳐 내에서 현재 블록과 공간적으로 동일한 위치에 존재하는 동일 위치 블록일 수 있다. 다른 예로, 콜 블록은 상기 이전 시간의 픽쳐 내에서 상기 동일 위치 블록을 기준으로 도출된 소정의 상대적인 위치에 존재하는 블록일 수 있다.
그리고 도 7의 실시예에서 ‘인터’는 좌측 블록, 상단 블록 및/또는 콜 블록에 대해 인터 예측이 수행되었음을 나타내고, ‘인트라’는 좌측 블록, 상단 블록 및/또는 콜 블록에 대해 인트라 예측이 수행되었음을 나타내며, ‘인터-뷰’는 좌측 블록, 상단 블록 및/또는 콜 블록에 대해 인터-뷰 예측이 수행되었음을 나타낸다. 여기서, 인터-뷰 예측은 예측 대상 블록과 다른 시점에 속한 영상을 참조 영상으로 사용하여 수행되는 예측을 의미할 수 있다.
이 때, 인터 예측이 수행된 블록은 움직임 벡터 정보를 포함할 수 있고, 인트라 예측이 수행된 블록은 움직임 벡터 정보를 포함하지 않을 수 있다. 그리고 인터-뷰 예측이 수행된 블록은 상기 블록과 다른 시점에 속한 영상을 참조 영상으로 사용하여 예측이 수행된 블록이므로, 디스패리티 벡터 정보를 포함할 수 있다.
도 7에서 MV는 움직임 벡터를 나타낼 수 있다. 이 때, MVleft는 좌측 블록의 움직임 벡터를 나타내고, MVup은 상단 블록의 움직임 벡터를 나타내고, MVtemporal은 콜 블록의 움직임 벡터를 나타낼 수 있다. 또한, MVview는 현재 블록과 다른 시점을 갖는 영상 내에서 상기 현재 블록에 대응되는 위치에 존재하는 블록의 움직임 벡터를 나타낼 수 있다. 여기서, 상기 현재 블록에 대응되는 위치는 상기 현재 블록이 속한 시점 및 상기 다른 시점 간의 시차 및/또는 변이 값을 기반으로 도출될 수 있다. 여기서, 상기 시차 및/또는 변이 값은 일례로 글로벌 디스패리티 벡터(GDV) 값에 해당될 수 있다.
또한, 도 7에서 DV는 디스패리티 벡터를 나타낼 수 있다. 이 때, DVleft는 좌측 블록의 디스패리티 벡터를 나타내고, DVup은 상단 블록의 디스패리티 벡터를 나타내고, DVtemporal은 콜 블록의 디스패리티 벡터를 나타낼 수 있다. 또한, DVglobal는 GDV를 나타낼 수 있다.
도 7은 상단 블록, 좌측 블록 및 콜 블록의 예측 모드에 따라 현재 블록의 예측 움직임 벡터 후보로 사용되는 움직임 벡터 및 디스패리티 벡터의 실시예들을 나타낸다. 일례로, 좌측 블록의 예측 모드가 인터 모드이고 상단 블록의 예측 모드가 인트라 모드이고 콜 블록의 예측 모드가 인터-뷰 모드인 경우, MVleft, MVview, DVtemporal 및 DVglobal 이 현재 블록에 대한 예측 움직임 벡터 후보로 사용될 수 있다. 도 7에 도시된 표를 참조하면, 상단 블록, 좌측 블록 및/또는 콜 블록이 다른 예측 모드를 갖는 경우에 예측 움직임 벡터 후보로 사용되는 움직임 벡터 및 디스패리티 벡터의 실시예들은 당업자에 의해 용이하게 이해될 수 있으므로, 각각의 경우에 대한 구체적인 설명은 생략하기로 한다.
도 8은 본 발명에 따른 부호화기에서의 움직임 정보 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 8의 실시예는 AMVP 모드가 적용되는 경우를 기준으로 서술되지만, 본 발명은 이에 한정되는 것은 아니다. 도 8의 실시예는 머지 모드의 경우에 대해서도 동일하거나 유사한 방식으로 적용될 수 있다. 또한, 예측 움직임 벡터 후보는 머지 후보로 대체될 수 있고, 예측 움직임 벡터 후보 리스트는 머지 후보 리스트로 대체될 수 있다. 그리고 예측 움직임 벡터 인덱스는 머지 인덱스로 대체될 수 있다.
도 8을 참조하면, 부호화기는 적어도 하나의 예측 움직임 벡터 후보를 도출하고, 도출된 예측 움직임 벡터 후보를 기반으로 예측 움직임 벡터 후보군을 생성할 수 있다(S810). 예측 움직임 벡터 후보를 도출하는 방법의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 8을 참조하면, 부호화기는 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 도출할 수 있다(S820).
부호화기는 예측 움직임 벡터 후보군을 구성하는 예측 움직임 벡터 후보들 중에서 현재 블록의 예측에 사용될 예측 움직임 벡터 후보를 결정할 수 있다. 이 때, 부호화기는 상기 결정된 예측 움직임 벡터 후보를 지시하는 인덱스를, 현재 블록에 대한 예측 움직임 벡터 인덱스로 결정할 수 있다. 즉, 예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보군을 구성하는 예측 움직임 벡터 후보들 중에서 현재 블록의 예측에 사용될 예측 움직임 벡터 후보를 지시할 수 있다.
또한, 부호화기는 현재 블록의 실제 움직임 벡터 및 현재 블록에 대한 예측 움직임 벡터 후보의 차분에 의해 움직임 벡터 차분을 도출할 수 있다. 다만, 현재 블록의 예측 모드가 머지 모드인 경우에는 머지 인덱스에 의해 지시되는 후보가 그대로 현재 블록의 움직임 정보로 사용되므로, 부호화기는 움직임 벡터 차분을 별도로 도출하지 않을 수 있다.
다시 도 8을 참조하면, 도출된 예측 움직임 벡터 인덱스 및 움직임 벡터 차분은 엔트로피 부호화되어 복호화기로 전송될 수 있다(S830). 다만, 현재 블록의 예측 모드가 머지 모드인 경우에는 움직임 벡터 차분이 전송되지 않으며, 머지 인덱스만이 복호화기로 전송될 수 있다.
도 9는 본 발명에 따른 복호화기에서의 움직임 정보 도출 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 9의 실시예는 AMVP 모드가 적용되는 경우를 기준으로 서술되지만, 본 발명은 이에 한정되는 것은 아니다. 도 9의 실시예는 머지 모드의 경우에 대해서도 동일하거나 유사한 방식으로 적용될 수 있다. 또한, 예측 움직임 벡터 후보는 머지 후보로 대체될 수 있고, 예측 움직임 벡터 후보 리스트는 머지 후보 리스트로 대체될 수 있다. 그리고 예측 움직임 벡터 인덱스는 머지 인덱스로 대체될 수 있다.
도 9를 참조하면, 복호화기는 부호화된 예측 움직임 벡터 인덱스 및 부호화된 움직임 벡터 차분을 수신하여 엔트로피 복호화할 수 있다(S910). 다만, 현재 블록의 예측 모드가 머지 모드인 경우 복호화기는 움직임 벡터 차분을 수신하지 않고 머지 인덱스만을 수신할 수도 있다.
다시 도 9를 참조하면, 복호화기는 적어도 하나의 예측 움직임 벡터 후보를 도출하고, 도출된 예측 움직임 벡터 후보를 기반으로 예측 움직임 벡터 후보군을 생성할 수 있다(S920). 이 때, 복호화기는 부호화기에서와 동일한 방식으로 예측 움직임 벡터 후보군을 생성할 수 있다. 예측 움직임 벡터 후보를 도출하는 방법의 구체적인 실시예들은 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 9를 참조하면, 복호화기는 예측 움직임 벡터 인덱스, 움직임 벡터 차분 및 예측 움직임 벡터 후보군을 기반으로 현재 블록의 움직임 벡터를 도출할 수 있다(S930).
복호화기는 예측 움직임 벡터 인덱스를 기반으로, 예측 움직임 벡터 후보군을 구성하는 예측 움직임 벡터 후보들 중에서 현재 블록의 예측에 사용될 예측 움직임 벡터를 결정할 수 있다. 여기서, 예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보군을 구성하는 예측 움직임 벡터 후보들 중에서 현재 블록의 예측에 사용될 예측 움직임 벡터를 지시할 수 있다.
또한, 복호화기는 결정된 예측 움직임 벡터 및 움직임 벡터 차분을 더함으로써 현재 블록의 실제 움직임 벡터를 도출할 수 있다. 다만, 현재 블록의 예측 모드가 머지 모드인 경우에는 머지 후보군을 구성하는 복수의 머지 후보 중에서 머지 인덱스에 의해 지시되는 후보가 그대로 현재 블록의 움직임 정보로 사용될 수 있다.
상술한 실시예에 따르면, 확장 시점에 속한 움직임 정보는, 이전에 부호화/복호화된 다른 인접 시점의 움직임 정보, 시점 간의 시차(disparity) 정보 및/또는 시점 간의 움직임 정보를 기반으로 부호화/복호화될 수 있다. 즉, 본 발명에서는 현재 시점의 움직임 정보 부호화/복호화시에, 영상 시점 간의 시차 및/또는 이전에 부호화/복호화된 다른 인접 시점의 움직임 정보가, 현재 시점의 움직임 정보의 예측 값(예를 들어, 예측 움직임 벡터 후보 및 머지 후보 등)으로 사용될 수 있다. 따라서, 본 발명에 의하면 시점 간의 시차 정보 및 시점 간의 움직임 정보 등을 기반으로 움직임 정보 예측이 수행됨으로써, 움직임 벡터 예측 효율 및 움직임 벡터 전송 효율이 향상될 수 있고 비디오 압축 성능이 향상될 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 흐름도 또는 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 병렬적으로 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도 또는 흐름도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상에서 본 발명은 실시예를 참조하여 설명되었으나, 상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합이 기술될 수는 없지만, 당해 기술 분야에서 통상의 지식을 가진 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 본 발명에 대한 다양한 변경 또는 수정이 가능함을 이해할 수 있을 것이다.
Claims (15)
- 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 방법으로서,
상기 현재 블록에 대한 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 수신하여 복호화하는 단계;
상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하는 단계;
상기 복수의 예측 움직임 벡터 후보 중에서 상기 복호화된 예측 움직임 벡터 인덱스가 지시하는 예측 움직임 벡터 후보를, 상기 현재 블록의 예측 움직임 벡터로 결정하는 단계; 및
상기 결정된 예측 움직임 벡터 및 상기 복호화된 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 단계를 포함하되,
상기 복수의 예측 움직임 벡터 후보는,
상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제 1항에 있어서,
상기 글로벌 디스패리티 벡터는 시퀀스 파리미터 셋 (Sequence Parameter Set: SPS) 또는 슬라이스 헤더(slice header)에 포함되어 부호화기에서 복호화기로 전송되는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제 1항에 있어서,
상기 글로벌 디스패리티 벡터는 상기 좌측 블록의 시차 정보, 상기 상단 블록의 시차 정보 및 상기 콜 블록의 시차 정보 중에서 적어도 하나를 기반으로 도출되는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제 1항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하는 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 대응 블록의 움직임 벡터를 포함하고,
상기 대응 블록의 위치는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터를 기반으로 도출되는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제 1항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하지 않는 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록의 움직임 벡터, 상기 좌측 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터 및 상기 대응 블록의 움직임 벡터를 포함하고,
상기 대응 블록의 위치는,
상기 글로벌 디스패리티 벡터를 기반으로 도출되는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제 1항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가, 상기 제2 시점 내에서 상기 현재 픽쳐와 동일한 POC 값을 갖는 픽쳐인 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 글로벌 디스패리티 벡터를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법. - 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 장치로서,
상기 현재 블록에 대한 예측 움직임 벡터 인덱스 및 움직임 벡터 차분을 수신하여 복호화하는 엔트로피 복호화부; 및
상기 현재 블록에 대해 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하고, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 복호화된 예측 움직임 벡터 인덱스가 지시하는 예측 움직임 벡터 후보를, 상기 현재 블록의 예측 움직임 벡터로 결정하고, 상기 결정된 예측 움직임 벡터 및 상기 복호화된 움직임 벡터 차분을 더함으로써, 상기 현재 블록의 움직임 벡터를 도출하는 향상된 움직임 벡터 예측부를 포함하되,
상기 복수의 예측 움직임 벡터 후보는,
상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제 7항에 있어서,
상기 글로벌 디스패리티 벡터는 시퀀스 파리미터 셋 (Sequence Parameter Set: SPS) 또는 슬라이스 헤더(slice header)에 포함되어 다시점 비디오 부호화 장치에서 상기 다시점 비디오 복호화 장치로 전송되는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제 7항에 있어서,
상기 향상된 움직임 벡터 예측부는,
상기 좌측 블록의 시차 정보, 상기 상단 블록의 시차 정보 및 상기 콜 블록의 시차 정보 중에서 적어도 하나를 기반으로 상기 글로벌 디스패리티 벡터를 도출하는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제 7항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하는 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 대응 블록의 움직임 벡터를 포함하고,
상기 향상된 움직임 벡터 예측부는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터를 기반으로, 상기 대응 블록의 위치를 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제 7항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가 상기 제1 시점 내에서 상기 현재 픽쳐와 다른 POC 값을 갖는 픽쳐이고, 상기 상단 블록 및 상기 좌측 블록 중에서 상기 제2 시점에 속한 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록이 존재하지 않는 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록의 움직임 벡터, 상기 좌측 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터 및 상기 대응 블록의 움직임 벡터를 포함하고,
상기 향상된 움직임 벡터 예측부는,
상기 글로벌 디스패리티 벡터를 기반으로 상기 대응 블록의 위치를 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제 7항에 있어서,
상기 현재 블록의 예측에 사용되는 현재 참조 픽쳐가, 상기 제2 시점 내에서 상기 현재 픽쳐와 동일한 POC 값을 갖는 픽쳐인 경우,
상기 복수의 예측 움직임 벡터 후보는,
상기 상단 블록 및 상기 좌측 블록 중에서 상기 현재 참조 픽쳐를 참조 픽쳐로 이용하여 예측이 수행된 블록의 움직임 벡터, 상기 콜 블록의 움직임 벡터, 및 상기 글로벌 디스패리티 벡터를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 장치. - 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 부호화 방법으로서,
상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하는 단계;
상기 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측에 사용될 예측 움직임 벡터를 결정하고, 상기 결정된 예측 움직임 벡터를 지시하는 인덱스를 상기 현재 블록의 예측 움직임 벡터 인덱스로 결정하는 단계;
상기 현재 블록의 움직임 벡터 및 상기 결정된 예측 움직임 벡터 간의 움직임 벡터 차분을 도출하는 단계; 및
상기 예측 움직임 벡터 인덱스 및 상기 움직임 벡터 차분을 부호화하여 복호화기로 전송하는 단계를 포함하되,
상기 복수의 예측 움직임 벡터 후보는,
상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 방법. - 제1 시점에 속한 현재 블록의 움직임 벡터를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 부호화 장치로서,
상기 현재 블록에 대해, 복수의 예측 움직임 벡터 후보로 구성된 예측 움직임 벡터 후보군을 생성하고, 상기 복수의 예측 움직임 벡터 후보 중에서 상기 현재 블록의 예측에 사용될 예측 움직임 벡터를 결정하고, 상기 결정된 예측 움직임 벡터를 지시하는 인덱스를 상기 현재 블록의 예측 움직임 벡터 인덱스로 결정하고, 상기 현재 블록의 움직임 벡터 및 상기 결정된 예측 움직임 벡터 간의 움직임 벡터 차분을 도출하는 향상된 움직임 벡터 예측부; 및
상기 예측 움직임 벡터 인덱스 및 상기 움직임 벡터 차분을 부호화하여 복호화기로 전송하는 엔트로피 부호화부를 포함하되,
상기 복수의 예측 움직임 벡터 후보는,
상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 벡터, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 벡터, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 벡터, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 벡터, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 글로벌 디스패리티 벡터(Global Disparity Vector: GDV) 중에서 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 장치. - 제1 시점에 속한 현재 블록의 움직임 정보를 기반으로 상기 현재 블록에 대해 예측을 수행하는 다시점 비디오 복호화 방법으로서,
상기 현재 블록에 대한 머지 인덱스를 수신하여 복호화하는 단계;
상기 현재 블록에 대해, 복수의 머지 후보로 구성된 머지 후보군을 생성하는 단계; 및
상기 복수의 머지 후보 중에서 상기 복호화된 머지 인덱스가 지시하는 머지 후보를, 상기 현재 블록의 움직임 정보로 결정하는 단계를 포함하되,
상기 복수의 머지 후보는,
상기 현재 블록의 좌측에 인접하여 위치한 좌측 블록의 움직임 정보, 상기 현재 블록의 상단에 인접하여 위치한 상단 블록의 움직임 정보, 상기 제1 시점 내에서 상기 현재 블록이 속한 현재 픽쳐와 다른 POC 값을 갖는 픽쳐 내에 위치한 콜 블록의 움직임 정보, 상기 제1 시점과 다른 제2 시점에 속한 픽쳐 내의 블록으로서 상기 현재 블록에 대응되는 위치에 존재하는 대응 블록의 움직임 정보, 및 상기 제1 시점과 상기 제2 시점 간의 시차를 나타내는 시차 중에서 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20110107913 | 2011-10-21 | ||
| KR1020110107913 | 2011-10-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130044189A true KR20130044189A (ko) | 2013-05-02 |
Family
ID=48656739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120117076A KR20130044189A (ko) | 2011-10-21 | 2012-10-22 | 다시점 비디오 부호화/복호화 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20130044189A (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248899A (zh) * | 2013-05-21 | 2013-08-14 | 清华大学 | 多视点视频skip模式的运动矢量预测方法 |
| WO2015002460A1 (ko) * | 2013-07-02 | 2015-01-08 | 한국전자통신연구원 | 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법 |
| KR20150090052A (ko) * | 2013-07-12 | 2015-08-05 | 삼성전자주식회사 | 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 블록 기반 디스패리티 벡터 예측 방법 |
| CN105432086A (zh) * | 2013-07-18 | 2016-03-23 | Lg电子株式会社 | 处理视频信号的方法和装置 |
| US10194133B2 (en) | 2014-06-30 | 2019-01-29 | Electronics And Telecommunications Research Institute | Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode |
| CN111355958A (zh) * | 2018-12-21 | 2020-06-30 | 华为技术有限公司 | 视频解码方法及装置 |
-
2012
- 2012-10-22 KR KR1020120117076A patent/KR20130044189A/ko not_active Application Discontinuation
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248899A (zh) * | 2013-05-21 | 2013-08-14 | 清华大学 | 多视点视频skip模式的运动矢量预测方法 |
| CN103248899B (zh) * | 2013-05-21 | 2016-02-24 | 清华大学 | 多视点视频skip模式的运动矢量预测方法 |
| WO2015002460A1 (ko) * | 2013-07-02 | 2015-01-08 | 한국전자통신연구원 | 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법 |
| US20160373784A1 (en) * | 2013-07-02 | 2016-12-22 | Electronics And Telecommunications Research Institute | Method for encoding and decoding video including plurality of layers |
| US10080037B2 (en) | 2013-07-02 | 2018-09-18 | Electronics And Telecommunications Research Institute | Method for encoding and decoding video including plurality of layers |
| US10681378B2 (en) | 2013-07-02 | 2020-06-09 | Electronics And Telecommunications Research Institute | Method for encoding and decoding video including plurality of layers |
| KR20150090052A (ko) * | 2013-07-12 | 2015-08-05 | 삼성전자주식회사 | 인터 레이어 비디오 복호화 및 부호화 장치 및 방법을 위한 블록 기반 디스패리티 벡터 예측 방법 |
| US9924182B2 (en) | 2013-07-12 | 2018-03-20 | Samsung Electronics Co., Ltd. | Method for predicting disparity vector based on blocks for apparatus and method for inter-layer encoding and decoding video |
| CN105432086A (zh) * | 2013-07-18 | 2016-03-23 | Lg电子株式会社 | 处理视频信号的方法和装置 |
| US10129560B2 (en) | 2013-07-18 | 2018-11-13 | Lg Electronics Inc. | Method and apparatus for processing video signal |
| US10194133B2 (en) | 2014-06-30 | 2019-01-29 | Electronics And Telecommunications Research Institute | Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode |
| CN111355958A (zh) * | 2018-12-21 | 2020-06-30 | 华为技术有限公司 | 视频解码方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6992128B2 (ja) | 映像復号化方法 | |
| US10194133B2 (en) | Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode | |
| KR101854003B1 (ko) | 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법 | |
| TWI653878B (zh) | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 | |
| KR102227279B1 (ko) | 비디오 부호화/복호화 방법 및 장치 | |
| CN103907346A (zh) | 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置 | |
| WO2013138621A1 (en) | Disparity vector construction method for 3d-hevc | |
| EP3011746A1 (en) | More accurate advanced residual prediction (arp) for texture coding | |
| US10063887B2 (en) | Video decoding apparatus and method for decoding multi-view video | |
| CN106664423B (zh) | 视频编译中的深度图片编译方法 | |
| KR20130044189A (ko) | 다시점 비디오 부호화/복호화 방법 및 그 장치 | |
| US10587894B2 (en) | Method and device for encoding/decoding 3D video | |
| KR20160072100A (ko) | 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 방법 및 장치 | |
| KR20150122726A (ko) | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 | |
| US10045048B2 (en) | Method and apparatus for decoding multi-view video | |
| CN111052739A (zh) | 基于帧间预测模式的图像处理的方法和设备 | |
| KR20110124447A (ko) | 입체영상 부호화 장치 및 방법 | |
| KR20150122706A (ko) | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 및 화상 복호 프로그램 | |
| EP3059969A1 (en) | Method and apparatus for coding/decoding video comprising multi-view | |
| JP2015128252A (ja) | 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体 | |
| US10390035B2 (en) | Video encoding and decoding by inheritance of a field of motion vectors | |
| WO2015056700A1 (ja) | 映像符号化装置及び方法、及び、映像復号装置及び方法 | |
| EP3122050A1 (en) | 3d video encoding/decoding method and device | |
| US20200275119A1 (en) | Motion information prediction method and apparatus for distortion due to projection formation conversion | |
| KR101672008B1 (ko) | 변이 벡터 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |