KR20140105038A - 머지 모드 움직임 정보 복호화 장치 - Google Patents

Abstract

높은 영상 품질을 유지하면서 낮은 데이터 레이트로 부호화된 동영상 신호를 복원하기 위한 머지 모드 움직임 정보 복호화 장치가 개시된다. 머지 모드 움직임 정보 복호화 장치는 머지 모드에서의 움직임 정보를 효율적으로 예측하기 위해 머지 모드 후보자의 위치 및 후보자 구성을 개시한다. 그리고, 유효한 머지 후보자의 수에 따라 적응적으로 머지 후보자를 생성함으로써 현재 블록의 머지 인덱스가 나타내는 머지 후보자를 네트워크의 환경에 관계없이 효율적으로 복원할 수 있다.

Description

머지 모드 움직임 정보 복호화 장치{APPARATUS FOR DECODING MOTION INFORMATION IN MERGE MODE}

본 발명은 움직임 정보 복호화 장치에 관한 것으로, 더욱 상세하게는 머지 모드로 부호화된 움직임 정보를 복원하기 위한 머지 모드 움직임 정보 복호화 장치에 관한 것이다.

영상의 품질을 유지하면서 동영상 신호를 효과적으로 압축하기 위한 많은 기술들이 제안되어 왔다. 특히, 현재 블록과 유사한 블록을 이전 화면에서 추출하여 그 차이값을 부호화하는 방식인 인터 예측 부호화 방식은 영상을 압축하는 데 있어 가장 효과적인 방법 중의 하나이다.

그러나, 상기 인터 예측 부호화 방식의 경우에는 잔차 블록을 부호화하여 보내는 대신에 각 블록들에 대응하는 움직임 정보를 별도로 전송해야 한다. 따라서, 움직임 정보를 효과적으로 부호화하여 데이터량을 줄이는 것이 또 하나의 영상 압축 방안 중의 하나이다.

예측 블록의 크기가 커지고 다양해지고, 참조할 픽쳐의 수도 다양해지면서, 잔차 블록의 데이터량은 줄어드는 반면에, 전송해야 할 움직임 정보량(움직임 벡터 및 참조 픽쳐 인덱스)은 점점 더 증가하게 된다.

따라서, 전송해야 할 움직임 정보량을 더욱 효과적으로 줄일 수 있는 장치가 필요하다.

본 발명은 머지 모드로 부호화된 움직임 정보를 효과적으로 복원하기 위한 머지 모드 움직임 정보 복호화 장치에 관한 것이다.

본 발명에 따른 머지 모드 움직임 정보 복호화 장치는, 수신된 머지 코드워드를 이용하여, 현재 블록의 머지 예측자 인덱스를 복원하는 머지 예측자 인덱스 복호화부, 현재 블록의 공간 머지 후보자를 유도하는 공간 머지 후보자 유도부, 현재 블록의 시간 머지 후보자를 생성하는 시간 머지 후보자 구성부, 현재 블록의 유효한 머지 후보자수가 미리 정해진 수보다 작을 경우, 머지 후보자를 생성하는 머지 후보자 생성부, 상기 머지 후보자 유도부로부터 유도된 공간 머지 후보자, 상기 시간 머지 후보자 구성부에 의해 생성된 시간 머지 후보자 및 상기 머지 후보자 생성부에 의해 생성된 생성 머지 후보자를 이용하여 머지 후보자 리스트를 구축하고, 상기 머지 예측자 인덱스 복호화부로부터의 머지 예측자 인덱스에 기초하여 머지 예측자를 선택하는 머지 예측자 선택부, 및 상기 머지 예측자 선택부에 의해 선택된 머지 후보자의 참조 픽쳐 인덱스 및 움직임 벡터를 현재 블록의 참조 픽쳐 인덱스 및 움직임 벡터로 생성하는 움직임 정보 생성부를 포함한다.

본 발명에 따르면, 수신된 머지 코드워드를 이용하여, 현재 블록의 머지 예측자 인덱스를 복원하고, 현재 블록의 공간 머지 후보자, 시간 머지 후보자를 생성하고, 현재 블록의 유효한 머지 후보자수가 미리 정해진 수보다 작을 경우 머지 후보자를 생성하여 머지 후보자 리스트를 구축한다. 그리고, 상기 복원된 머지 예측자 인덱스에 기초하여 머지 예측자를 선택한다. 따라서, 머지 후보자 수를 고정함으로써, 하나의 복호화 테이블을 이용하도록 함으로써 복호화 속도를 높일 수 있고, 효율적으로 움직임 정보를 복호하도록 하는 효과가 있다.

도 1은 본 발명에 따른 인터 예측 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 움직임 정보 부호화 모드 결정부를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 머지 후보자의 위치를 나타내는 도면이다.
도 4는 본 발명에 따른 인터 예측 복호화 장치를 나타내는 블록도이다.
도 5는 본 발명의 제1 실시예에 따른 머지 모드 움직임 정보 복호화부를 나타내는 블록도이다.
도 6는 본 발명의 제2 실시예에 따른 머지 모드 움직임 정보 복호화부를 나타내는 블록도이다.
도 7은 본 발명의 제3 실시예에 따른 머지 모드 움직임 정보 복호화부를 나타내는 블록도이다
도 8은 본 발명의 제1 실시예에 따른 AMVP 모드 움직임 정보 복호화부를 나타내는 블록도이다.
도 9는 본 발명의 제2 실시예에 따른 AMVP 모드 움직임 정보 복호화부를 나타내는 블록도이다.

도 1은 본 발명의 실시예에 따른 인터 예측 부호화 장치를 나타내는 블록도이다.

도 1을 참조하면, 인터 예측 부호화 장치는 움직임 정보 결정부(110), 움직임 정보 부호화 모드 결정부(120), 움직임 정보 부호화부(130), 예측 블록 생성부(140), 잔차 블록 생성부(150), 잔차 블록 부호화부(160) 및 멀티플렉서(170)를 포함한다.

움직임 정보 결정부(110)는 현재 블록의 움직임 정보를 결정한다. 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다. 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낸다. 현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타낸다. 반면에, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조픽쳐 인덱스를 포함할 수 있다. 또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.

움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타낸다. 움직임 벡터는 화소단위(정수단위)일수도 있으나, 서브화소단위일 수도 있다. 예를 들어, 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있다. 움직임 벡터가 정수단위가 아닐 경우에는 예측 블록은 정수 단위의 화소들로부터 생성된다.

움직임 정보 부호화 모드 결정부(120)는 현재 블록의 움직임 정보를 스킵 모드로 부호화할지, 머지 모드로 부호화할지, AMVP 모드로 부호화할지를 결정한다.

스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용된다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용된다. 현재 블록은 예측 유닛으로 볼 수 있다.

머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용된다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.

AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용된다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택한다.

움직임 정보 부호화부(130)는 움직임 정보 부호화 모드 결정부(120)에 의해 결정된 방식에 따라 움직임 정보를 부호화한다. 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행한다. 움직임 정보 부호화 모드가 AMVP일 경우에는 AMVP 부호화 과정을 수행한다.

예측 블록 생성부(140)는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.

그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성한다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.

잔차 블록 생성부(150)는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성한다. 현재 블록의 크기가 2Nx2N인 경우에는 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성한다. 그러나, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우에는 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록을 생성할 수 있다. 그리고, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 의 잔차 블록을 생성할 수도 있다. 2NxN 크기의 2개의 예측블록들의 경계부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들을 오버랩 스무딩할 수 있다.

잔차 블록 부호화부(160)는 생성된 잔차 블록을 하나 이상의 변환 유닛으로 나눈다. 그리고, 각 변환 유닛을 변환 부호화, 양자화 및 엔트로피 부호화된다. 이때, 변환 유닛의 크기는 잔차 블록의 크기에 따라 쿼드트리 방식으로 결정될 수 있다.

잔차 블록 부호화부(160)는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환한다. 상기 변환 매트릭스는 정수기반 DCT 매트릭스이다. 잔차 블록 부호화부(160)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용한다. 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정된다. 상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛별로 결정된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 따라서, 현재 코딩 유닛이 상기 미리 정해진 크기보다 작은 경우에는 상기 미리 정해진 크기 내의 복수개의 코딩 유닛 중 부호화 순서상 첫번째 코딩 유닛의 양자화 파라미터만을 부호화하고, 나머지 코딩 유닛의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화할 필요가 없다. 그리고, 결정된 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들을 양자화한다.

상기 미리 정해진 크기 이상의 코딩 유닛별로 결정되는 양자화 파라미터는 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 파라미터를 이용하여 예측 부호화된다. 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛의 양자화 파라미터 예측자를 생성할 수 있다. 예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다. 또한, 좌측 코딩 유닛, 부호화 순서상 바로 이전의 코딩 유닛 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.

양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환한다. 스캐닝 방식은 엔트로피 부호화 모드에 따라 달리 설정될 수 있다. 예를 들어, CABAC으로 부호화될 경우에는 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있다. 반면에 CAVLC으로 부호화될 경우에는 상기 방식과 다른 방식으로 스캐닝될 수 있다. 예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있다. 또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있다. 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있다. 양자화 계수들의 스캔순서는 역방향으로 스캔한다.

멀티플렉서(170)는 상기 움직임 정보 부호화부(130)에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부에 의해 부호화된 잔차 신호들을 다중화한다. 상기 움직임 정보는 부호화 모드에 따라 달라질 수 있다. 즉, 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함한다. 그러나, AMVP일 경우에는 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함한다.

도 2는 본 발명에 따른 움직임 정보 부호화 모드 결정부(120)를 나타내는 블록도이다.

본 발명에 따른 움직임 정보 부호화 모드 결정부(120)는 공간 머지 후보자 검색부(121), 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(122), 시간 머지/AMVP 후보자의 움직임 벡터 유도부(123), 공간 AMVP 후보자의 움직임 벡터 유도부(124), 시간 머지 후보자 구성부(125), 머지 후보자 리스트 구축부(126), AMVP 후보자 리스트 구축부(127), 부호화 모드 결정부(128)를 포함한다.

공간 머지 후보자 검색부(121)는 현재 블록에 인접한 블록의 유효한 움직임 정보를 공간 머지 후보자로 설정한다. 공간 머지 후보자는 도 3에 도시된 바와 같이 현재 블록의 좌측 블록(블록 A), 현재 블록의 상측 블록(블록 B), 현재 블록의 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 중 4개가 후보자가 될 수 있다. 이 경우, 블록 E는 블록 A, B, C, D 중 하나 이상이 유효하지 않은 경우에 사용될 수 있다.

또한, 공간 머지 후보자는 현재 블록의 좌측 블록(블록 A'), 현재 블록의 상측 블록(블록 B'), 현재 블록의 코너 블록(C, D, E 중 하나)으로 설정될 수 있다. 코너 블록은 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 순으로 스캔하여 유효한 첫번째 블록이다.

또한, 공간 머지 후보자는 현재 블록의 좌측 블록(블록 A'), 현재 블록의 상측 블록(블록 B'), 현재 블록의 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 순으로 스캔하여 유효한 2개가 후보자가 될 수 있다.

여기서 좌측 블록(A')은 블록 D에 인접하지 않고 블록 E에 인접한 블록일 수 있다. 마찬가지로, 상측 블록(B')은 블록 C에 인접하지 않고 블록 E에 인접한 블록일 수 있다.

참조 픽쳐 인덱스 유도부(122)는 현재 블록의 시간 머지 후보자를 위한 참조 픽쳐 인덱스를 구한다. 시간 머지 후보자의 참조 픽쳐 인덱스는 현재 블록에 공간적으로 인접한 블록들(예측 유닛들) 중 하나의 참조 픽쳐 인덱스로 설정될 수 있다.

현재 블록의 시간 머지 후보자의 참조 인덱스들을 구하기 위해 현재 블록의 좌측 블록(A), 상측 블록(B), 우상측 블록(C), 좌하측 블록(D) 및 좌상측 블록(E)의 참조 픽쳐 인덱스들 중 일부 또는 전부가 사용될 수 있다.

예를 들어, 현재 블록의 좌측 블록(A), 상측 블록(B) 및 코너 블록(C, D, E 중 어느 하나)들의 참조 픽쳐 인덱스가 사용될 수 있다. 이 경우, 코너 블록의 참조 픽쳐 인덱스는 우상측 블록(C), 좌하측 블록(D), 좌상측 블록닛(E) 순으로 스캔하여 유효한 첫번째 블록의 참조 픽쳐 인덱스로 결정될 수 있다. 예를 들어, 상기 참조 픽쳐 인덱스들 중 유효한 참조 픽쳐 인덱스들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스를 시간 스킵 후보자의 참조 픽쳐 인덱스로 설정될 수 있다. 유효한 후보자들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스가 복수개 존재할 경우에는 상기 복수개의 참조 픽쳐 인덱스 중 최소값을 갖는 참조 픽쳐 인덱스를 시간 스킵 후보자를 위한 참조 픽쳐 인덱스로 설정할 수 있다.

현재 블록의 시간 머지 후보자의 참조 인덱스들을 구하기 위해, 현재 블록의 좌측 블록(A), 상측 블록(B), 우상측 블록(C), 좌하측 블록(D) 및 좌상측 블록(E)의 순으로 스캔하여 유효한 3개의 블록의 참조 픽쳐 인덱스가 사용될 수도 있다. 여기에서는 3개 또는 그 이상의 유효한 참조 픽쳐 인덱스들을 이용하는 것으로 설정하였지만, 유효한 모든 개수를 이용하거나, 미리 정해진 위치의 참조 픽쳐 인덱스만을 이용할 수도 있다. 또한, 유효한 참조 픽쳐 인덱스가 존재하지 않을 경우에는 참조 픽쳐 인덱스 0으로 설정할 수도 있다.

시간 머지/AMVP 후보자의 움직임 벡터 유도부(123)는 상기 시간 머지 후보자 블록이 속하는 픽쳐(이하, 시간 머지 후보자 픽쳐)를 결정한다. 시간 머지 후보자 픽쳐는 참조 픽쳐 인덱스가 0인 픽쳐로 설정될 수 있다. 이 경우, 슬라이스 타입이 P인 경우에는 리스트 0(list0)의 첫번째 픽쳐(즉 인덱스가 0인 픽쳐)가 시간 머지 후보자 픽쳐로 설정된다. 슬라이스 타입이 B인 경우에는 슬라이스 헤더내의 시간 머지 후보자 리스트를 나타내는 플래그가 나타내는 참조픽쳐 리스트의 첫번째 픽쳐가 시간 머지 후보자 픽쳐로 설정된다. 예를 들어, 상기 플래그가 1을 나타내면 list0로부터, 0을 나타내면 list1으로부터 시간 머지 후보자 픽쳐를 설정할 수 있다.

시간 머지/AMVP 후보자의 움직임 벡터 유도부(123)는 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 구한다. 상기 시간 머지 후보자 블록으로서, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 복수개의 대응 블록 중 어느 하나가 선택될 수 있다. 이 경우, 복수개의 대응 블록들에 우선순위를 부여하고, 상기 우선순위에 기초하여 유효한 첫번째 대응 블록이 시간 머지 후보자 블록으로 선택될 수 있다.

예를 들어, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록에 인접하는 좌하측 코너 블록(BR_C) 또는 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록 내의 좌하측 블록(BR)을 제1 후보자 블록으로 설정하고, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록의 중앙 위치의 좌상측 픽셀을 포함하는 블록(C1) 또는 우하측 픽셀을 포함하는 블록(C2)을 제 2 후보자 블록으로 설정될 수 있다.

상기 제1 후보자 블록이 유효하면 상기 제1 후보자 블록을 시간 머지 후보자 블록으로 설정하고, 상기 제1 후보자 블록이 유효하지 않고 상기 제2 후보자 블록이 유효하면, 상기 제2 후보자 블록을 시간 머지 후보자 블록으로 설정할 수 있다. 또는 현재 블록의 위치에 따라 제2 후보자 블록만을 사용할 수도 있다. 예를 들어, 현재 블록이 슬라이스의 아래쪽 경계 또는 LCU의 아래쪽 경계에 접하는 경우에는 제2 후보자 블록만을 사용할 수 있다. 제2 후보자 블록도 존재하지 않으면, 시감 머지 후보자는 유효하지 않는 것으로 판단한다.

상기 시간 머지 후보자 블록이 결정되면, 상기 시간 머지 후보자 블록의 움직임 벡터를 시간 머지 후보자의 움직임 벡터로 설정한다.

한편, 현재 블록의 크기에 따라 상기 시간 머지 후보자를 적응적으로 off 시킬 수도 있다. 예를 들어, 4x4 블록이 경우에는 복잡도 감소를 위해 상기 시간 머지 후보자를 off 시킬 수 있다.

공간 AMVP 후보자의 움직임 벡터 유도부(124)는 현재 블록의 좌측 블록(블록 A)과 좌하측 블록(블록 D)들 중 하나를 좌측 공간 후보자로 택하고, 현재 블록의 상측 블록(블록 B), 현재 블록의 우상측 블록(블록 C), 및 현재 블록의 좌상측 블록(블록 E)들 중 하나를 상측 공간 후보자로 택할 수 있다. 이때 미리 정해진 순서로 스캔하여 유효한 첫번째 움직임 벡터가 좌측 또는 상측 공간 후보자로 결정된다. 미리 정해진 순서는 좌측 블록의 경우에는 블록 A, 블록 D순서 또는 그 역순서로, 상측 블록의 경우에는 블록 B, 블록 C, 블록 E 순서 또는 블록 C, 블록 B, 블록 E 순서일 수 있다. 상기 유효한 움직임 벡터는 미리 정해진 조건을 만족하는 움직임 벡터일 수 있다. 미리 정해진 조건은 현재 블록의 움직임 정보에 기초하여 설정된 조건이다. 좌측 공간 후보자에 따라 상측 공간 후보자가 설정되지 않을 수도 있다. .

시간 머지 후보자 구성부(125)는 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(122)에 의해 얻어진 시간 머지 후보자의 참조 픽쳐 인덱스와 시간 머지/AMVP 후보자의 움직임 벡터 유도부(123)에 의해 얻어진 시간 머지 후보자의 움직임 벡터를 이용하여 시간 머지 후보자를 생성한다.

머지 후보자 리스트 구축부(126)는 유효한 머지 후보자를 이용하여 정해진 순서에 따라 머지 후보자 리스트를 구축한다. 이 경우, 복수개의 머지 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 머지 후보자를 리스트에서 삭제한다. 예를 들어, 정해진 순서는 A, B, Col, C, D 순이다. 여기서, Col은 시간 머지 후보자를 의미한다. 그러나, A, B, C, D 중 하나 이상이 유효하지 않은 경우에는 상기 유효하지 않은 최초 블록의 위치에 상기 유효한 E의 움직임 정보를 삽입할 수 있다. 또한, 상기 유효한 E의 움직임 정보를 가장 마지막 위치에 삽입할 수 있다.

한편, 머지 후보자 수가 미리 정해진 수보다 작으면, 머지 후보자를 생성할 수 있다. 이 경우, 추가되는 머지 후보자는 유효한 2개의 머지 후보자의 움직임 정보를 결합하여 생성할 수 있다. 예를 들어, 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 유효한 공간 움직임 벡터를 결합하여 생성할 수 있다. 복수개의 머지 후보자 생성이 가능한 경우, 미리 정해진 순서에 따라 리스트에 추가될 수 있다. 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 움직임 벡터를 결합하여 생성된 머지 후보자가 가장 먼저 리스트에 추가될 수 있다. 생성할 머지 후보자 수가 부족한 경우, 움직임 벡터가 0이고 참조 픽쳐 인덱스가 0인 머지 후보자가 추가될 수도 있다. 상기 미리 정해진 수는 픽쳐 또는 슬라이스 단위로 결정될 수 있다.

AMVP 후보자 리스트 구축부(127)는 유효한 AVMP 후보자를 이용하여 정해진 순서에 따라 AVMP 후보자 리스트를 구축한다. 이 경우, 복수개의 AVMP 후보자가 동일 움직임 벡터를 가지면(참조픽쳐가 동일할 필요는 없음), 후순위의 AVMP 후보자를 리스트에서 삭제한다. 정해진 순서는 좌측, 상측, Col 순이거나, Col, 좌측, 상측 순일 수 있다.

또한, AMVP 후보자 리스트 구축부(127)는 AVMP 후보자 생성이 필요한지 여부를 판단한다. 상기한 AVMP 후보자 구성에서 AVMP 후보자 수가 고정된 값으로 설정된 경우에는, 유효한 AVMP 후보자 수가 고정된 값보다 작으면 AVMP 후보자를 생성한다. 그리고, 상기 생성된 AMVP 후보자를 리스트 내의 가장 후순위의 AMVP 후보자 다음 위치에 추가한다. 상기 추가되는 후보자는 움직임 벡터가 0인 후보자가 추가될 수 있다.

부호화 모드 결정부(128)는 현재 블록의 움직임 정보를 스킵 모드로 부호화할지, 머지 모드로 부호화할지, AMVP 모드로 부호화할지를 결정한다.

스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차신호가 0인 경우에 적용된다. 또한, 스킵 모드는 현재 블록이 코딩 유닛과 사이즈가 같을 때 적용된다. 현재 블록은 예측 유닛으로 볼 수 있다.

머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용된다. 머지 모드는 현재 블록이 코딩 유닛과 사이즈가 다르거나, 사이즈가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 머지 후보자와 스킵 후보자는 동일할 수 있다.

AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용된다. 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택한다.

도 4는 본 발명에 따른 인터 예측 복호화 장치(200)를 나타내는 구성도이다.

본 발명에 따른 인터 예측 복호화 장치(200)는 디멀티플렉서(210), 움직임 정보 부호화 모드 판단부(220), 머지 모드 움직임 정보 복호화부(230), AMVP 모드 움직임 정보 복호화부(240), 예측블록 생성부(250), 잔차 블록 복호화부(260) 및 복원블록 생성부(270)를 포함한다.

디멀티플렉서(210)는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화한다. 디멀티플렉서(210)는 상기 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부(220)로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부(260)로 전송한다.

움직임 정보 부호화 모드 판단부(220)는 현재 블록의 움직임 정보 부호화 모드를 판단한다. 움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 1의 값을 갖는 경우에는 현재 블록의 움직임 정보 부호화 모드가 스킵 부호화 모드로 부호화된 것으로 판단한다. 움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(210)로부터 수신된 움직임 정보가 머지 인덱스만을 갖는 현재 블록의 움직임 정보 부호화 모드가 머지 모드로 부호화된 것으로 판단한다. 움직임 정보 부호화 모드 판단부(220)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(210)로부터 수신된 움직임 정보가 참조픽쳐 인덱스와 차분 움직임 벡터와 AMVP인덱스를 갖는 경우에는 현재 블록의 움직임 정보 부호화 모드가 AMVP 모드로 부호화된 것으로 판단한다.

머지 모드 움직임 정보 복호화부(230)는 움직임 정보 부호화 모드 판단부(220)가 현재 블록의 움직임 정보 부호화 모드를 스킵 또는 머지 모드로 판단한 경우에 활성화된다.

AMVP 모드 움직임 정보 복호화부(240)는 움직임 정보 부호화 모드 판단부(220)가 현재 블록의 움직임 정보 부호화 모드를 AMVP 모드로 판단한 경우에 활성화된다.

예측블록 생성부(250)는 상기 머지 모드 움직임 정보 복호화부(230) 또는 AMVP 모드 움직임 정보 복호화부(240)에 의해 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다. 움직임 벡터가 정수 단위일 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다. 그러나, 움직임 벡터가 정수 단위가 아닐 경우에는, 참조픽쳐 인덱스가 나타내는 픽쳐내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성한다. 이 경우, 휘도 화소의 경우에는 8탭의 보간 필터를 사용하여 예측 화소를 생성할 수 있다. 색차 화소의 경우에는 4탭 보간 필터를 사용하여 예측 화소를 생성할 수 있다.

잔차 블록 복호화부(260)는 잔차신호를 엔트로피 복호화한다. 그리고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성한다. 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다. 즉, CABAC 기반으로 복호화된 경우와 CAVLC 기반으로 복호화된 경우의 인터 예측 잔차신호의 역스캐닝 방식이 달라질 수 있다. 예를 들어, CABAC 기반으로 복호화된 경우에는 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식이 적용될 수 있다. 또한, 예측 블록의 크기에 따라 역스캐닝 방식이 달리 결정될 수도 있다.

잔차블록 복호화부(260)는 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화한다. 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원한다. 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원된다. 상기 미리 정해진 크기는 8x8 또는 16x16일 수 있다. 따라서, 현재 코딩 유닛이 상기 미리 정해진 크기보다 작은 경우에는 상기 미리 정해진 크기 내의 복수개의 코딩 유닛 중 부호화 순서상 첫번째 코딩 유닛의 양자화 파라미터만을 복원하고, 나머지 코딩 유닛의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화할 필요가 없다.

상기 미리 정해진 크기 이상의 코딩 유닛별로 결정된 양자화 파라미터를 복원하기 위해 현재 코딩 유닛에 인접한 코딩 유닛의 양자화 파라미터를 이용한다. 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛 순서로 검색하여 유효한 첫번째 양자화 파라미터를 현재 코딩 유닛의 양자화 파라미터 예측자로 결정할 수 있다. 또한, 좌측 코딩 유닛, 부호화 순서상 바로 이전의 코딩 유닛 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다. 상기 결정된 양자화 파라미터 예측자와 차분 양자화 파라미터를 이용하여 현재 예측 유닛의 양자화 파라미터를 복원한다.

잔차블록 복호화부(260)는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원한다.

*복원블록 생성부(270)는 상기 예측블록 생성부(250)에 의해 생성된 예측블록과 상기 잔차블록 복호화부(260)에 의하여 생성된 잔차블록을 더하여 복원블록을 생성한다.

도 5는 본 발명의 제1실시예에 따른 머지 모드 움직임 정보 복호화부(230)를 나타내는 블록도이다.

본 발명의 제1 실시예에 따른 머지 모드 움직임 정보 복호화부는 코드워드 판독부(231), 공간 머지 후보자 유도부(232), 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(233), 시간 머지 후보자의 움직임 벡터 유도부(234), 시간 머지 후보자 구성부(235), 머지 후보자 리스트 구축부(236), 머지 후보자 인덱스 복호화부(237) 및 움직임 정보 생성부(238)를 포함한다. 이 경우는 머지 후보자수가 고정이 아닌 경우에 적용된다.

코드워드 판독부(231)는 머지 후보자 인덱스에 대응하는 코드워드가 존재하는지 여부를 판단한다. 머지 후보자 인덱스에 대응하는 코드워드가 존재하지 않을 경우에는 머지 후보자가 1개 존재하거나 존재하지 않는 것으로 판단한다. 존재하지 않는 경우에는 움직임 벡터가 0이고 참조픽쳐 인덱스가 0인 움직임 정보를 현재 블록의 움직임 정보로 복원한다. 그리고, 머지 후보자가 1개 존재하는 경우에는 상기 머지 후보자의 움직임 정보를 현재 블록의 블록의 움직임 정보로 복원한다.

공간 머지 후보자 유도부(232)는 현재 블록에 인접한 블록의 유효한 움직임 정보를 공간 머지 후보자로 설정한다. 공간 머지 후보자는 도 3에 도시된 바와 같이 현재 블록의 좌측 블록(블록 A), 현재 블록의 상측 블록(블록 B), 현재 블록의 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 중 4개가 후보자가 될 수 있다. 이 경우, 블록 E는 블록 A, B, C, D 중 하나 이상이 유효하지 않은 경우에 사용될 수 있다.

또한, 공간 머지 후보자는 현재 블록의 좌측 블록(블록 A', 현재 블록의 상측 블록(블록 B', 현재 블록의 코너 블록(C, D, E 중 하나)으로 설정될 수 있다. 코너 블록은 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 순으로 스캔하여 유효한 첫번째 블록이다.

또한, 공간 머지 후보자는 현재 블록의 좌측 블록(블록 A', 현재 블록의 상측 블록(블록 B', 현재 블록의 우상측 블록(블록 C), 현재 블록의 좌하측 블록(블록 D) 및 현재 블록의 좌상측 블록(블록 E) 순으로 스캔하여 유효한 2개가 후보자가 될 수 있다.

여기서 좌측 블록(A'은 블록 D에 인접하지 않고 블록 E에 인접한 블록일 수 있다. 마찬가지로, 상측 블록(B'은 블록 C에 인접하지 않고 블록 E에 인접한 블록일 수 있다.

상술한 실시예들에서 공간 머지 후보자들 중 현재 예측 유닛의 상측에 존재하는 머지 후보자들의 움직임 정보는 현재 예측 유닛의 위치에 따라 달리 설정될 수 있다. 예를 들어, 현재 예측 유닛이 LCU의 상측 경계에 접하는 경우에는, 현재 예측 유닛의 상측 예측 유닛(블록 B, C 또는 E)의 움직임 정보는 자기 자신의 움직임 정보 또는 인접 예측 유닛의 움직임 정보일 수 있다. 현재 예측 유닛의 크기 및 위치에 따라, 상기 상측 예측 유닛의 움직임 정보가 자기 자신의 움직임 정보 또는 인접 예측 유닛의 움직임 정보(참조 픽쳐 인덱스 및 움직임 벡터) 중 하나로 결정될 수 있다.

시간 머지 후보자의 참조 픽쳐 인덱스 유도부(233)는 현재 블록의 시간 머지 후보자의 참조 픽쳐 인덱스를 구한다. 시간 머지 후보자의 참조 픽쳐 인덱스는 현재 블록에 공간적으로 인접한 블록들(예측 유닛들) 중 하나의 참조 픽쳐 인덱스로 설정될 수 있다. 또는 0으로 설정될 수도 있다.

현재 블록의 시간 머지 후보자의 참조 인덱스들을 구하기 위해 현재 블록의 좌측 블록(A), 상측 블록(B), 우상측 블록(C), 좌하측 블록(D) 및 좌상측 블록(E)의 참조 픽쳐 인덱스들 중 일부 또는 전부가 사용될 수 있다.

예를 들어, 현재 블록의 좌측 블록(A), 상측 블록(B) 및 코너 블록(C, D, E 중 어느 하나)들의 참조 픽쳐 인덱스가 사용될 수 있다. 이 경우, 코너 블록의 참조 픽쳐 인덱스는 우상측 블록(C), 좌하측 블록(D), 좌상측 블록닛(E) 순으로 스캔하여 유효한 첫번째 블록의 참조 픽쳐 인덱스로 결정될 수 있다. 예를 들어, 상기 참조 픽쳐 인덱스들 중 유효한 참조 픽쳐 인덱스들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스를 시간 스킵 후보자의 참조 픽쳐 인덱스로 설정될 수 있다. 유효한 후보자들 중 가장 많은 빈도를 갖는 참조 픽쳐 인덱스가 복수개 존재할 경우에는 상기 복수개의 참조 픽쳐 인덱스 중 최소값을 갖는 참조 픽쳐 인덱스를 시간 스킵 후보자를 위한 참조 픽쳐 인덱스로 설정할 수 있다.

현재 블록의 시간 머지 후보자의 참조 인덱스들을 구하기 위해, 현재 블록의 좌측 블록(A), 상측 블록(B), 우상측 블록(C), 좌하측 블록(D) 및 좌상측 블록(E)의 순으로 스캔하여 유효한 3개의 블록의 참조 픽쳐 인덱스가 사용될 수도 있다. 여기에서는 3개 또는 그 이상의 유효한 참조 픽쳐 인덱스들을 이용하는 것으로 설정하였지만, 유효한 모든 개수를 이용하거나, 미리 정해진 위치의 참조 픽쳐 인덱스만을 이용할 수도 있다. 유효한 참조 픽쳐 인덱스가 존재하지 않을 경우에는 참조 픽쳐 인덱스 0으로 설정할 수도 있다.

시간 머지 후보자의 움직임 벡터 유도부(234)는 상기 시간 머지 후보자 블록이 속하는 픽쳐(이하, 시간 머지 후보자 픽쳐)를 결정한다. 시간 머지 후보자 픽쳐는 참조 픽쳐 인덱스가 0인 픽쳐로 설정될 수 있다. 이 경우, 슬라이스 타입이 P인 경우에는 리스트 0(list0)의 첫번째 픽쳐(즉 인덱스가 0인 픽쳐)가 시간 머지 후보자 픽쳐로 설정된다. 슬라이스 타입이 B인 경우에는 슬라이스 헤더내의 시간 머지 후보자 리스트를 나타내는 플래그가 나타내는 참조픽쳐 리스트의 첫번째 픽쳐가 시간 머지 후보자 픽쳐로 설정된다. 예를 들어, 상기 플래그가 1을 나타내면 list0로부터, 0을 나타내면 list1으로부터 시간 머지 후보자 픽쳐를 설정할 수 있다.

다음으로, 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 구한다. 상기 시간 머지 후보자 블록으로서, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 복수개의 대응 블록 중 어느 하나가 선택될 수 있다. 이 경우, 복수개의 대응 블록들에 우선순위를 부여하고, 상기 우선순위에 기초하여 유효한 첫번째 대응 블록이 시간 머지 후보자 블록으로 선택될 수 있다.

예를 들어, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록에 인접하는 좌하측 코너 블록(BR_C) 또는 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록 내의 좌하측 블록(BR)을 제1 후보자 블록으로 설정하고, 상기 시간 머지 후보자 픽쳐 내의 현재 블록에 대응하는 블록의 중앙 위치의 좌상측 픽셀을 포함하는 블록(C1) 또는 우하측 픽셀을 포함하는 블록(C2)을 제 2 후보자 블록으로 설정될 수 있다.

상기 제1 후보자 블록이 유효하면 상기 제1 후보자 블록을 시간 머지 후보자 블록으로 설정하고, 상기 제1 후보자 블록이 유효하지 않고 상기 제2 후보자 블록이 유효하면, 상기 제2 후보자 블록을 시간 머지 후보자 블록으로 설정할 수 있다. 또는 현재 블록의 위치에 따라 제2 후보자 블록만을 사용할 수도 있다. 예를 들어, 현재 블록이 슬라이스의 아래쪽 경계 또는 LCU의 아래쪽 경계에 접하는 경우에는 제2 후보자 블록만을 사용할 수 있다. 제2 후보자 블록도 존재하지 않으면, 시감 머지 후보자는 유효하지 않는 것으로 판단한다.

상기 머지 후보자 예측 블록이 결정되면, 상기 시간 머지 후보자 예측 블록의 움직임 벡터를 시간 머지 후보자 움직임 벡터로 설정한다.

한편, 현재 블록의 크기에 따라 상기 시간 머지 후보자를 적응적으로 off 시킬 수도 있다. 예를 들어, 4x4 블록이 경우에는 복잡도 감소를 위해 상기 시간 머지 후보자를 off 시킬 수 있다.

시간 머지 후보자 구성부(235)는 상기 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(233)로부터 구한 참조 픽쳐 인덱스와 상기 시간 머지 후보자의 움직임 벡터 유도부(234)로부터 구한 움직임 벡터를 시간 머지 후보자의 참조픽쳐 인덱스와 움직임 벡터로 결정한다.

머지 후보자 리스트 구축부(236)는 유효한 머지 후보자를 이용하여 정해진 순서에 따라 머지 후보자 리스트를 구축한다. 이 경우, 복수개의 머지 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 머지 후보자를 리스트에서 삭제한다. 예를 들어, 정해진 순서는 A, B, Col, C, D 순이다. 여기서, Col은 시간 머지 후보자를 의미한다. 그러나, A, B, C, D 중 하나 이상이 유효하지 않은 경우에는 상기 유효하지 않은 최초 블록의 위치에 상기 유효한 E의 움직임 정보를 삽입할 수 있다. 또한, 상기 유효한 E의 움직임 정보를 가장 마지막 위치에 삽입할 수 있다.

머지 후보자 인덱스 복호화부(237)는 상기 머지 후보자 리스트 구축부(236)에 의해 구축된 유효한 후보자 수에 대응하는 복호화 테이블을 선택한다. 그리고, 상기 복호화 테이블 내에서 상기 머지 후보자 코드워드에 대응하는 인덱스를 현재 블록의 머지 후보자 인덱스로 결정한다.

움직임 정보 생성부(238)는 상기 머지 후보자 인덱스에 대응하는 머지 예측자를 상기 머지 후보자 리스트 구축부(236)에 의해 구축된 리스트에서 선택하고, 상기 선택된 머지 예측자의 움직임 정보(즉, 움직임 벡터 및 참조픽쳐 인덱스)를 현재 블록의 움직임 정보로 결정한다.

도 6은 본 발명의 제2실시예에 따른 머지 모드 움직임 정보 복호화부를 나타내는 블록도이다.

본 발명의 제2 실시예에 따른 머지 모드 움직임 정보 복호화부(230)는 머지 예측자 인덱스 복호화부(331), 공간 머지 후보자 유도부(332), 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(333), 시간 머지 후보자의 움직임 벡터 유도부(334), 시간 머지 후보자 구성부(335), 머지 예측자 선택부(336) 및 움직임 정보 생성부(337)를 포함한다. 이 경우는 머지 후보자 수가 고정인 경우에 적용된다. 머지 후보자 수는 픽쳐 또는 슬라이스 단위로 고정될 수 있다.

머지 예측자 인덱스 복호화부(331)는 상기 머지 후보자 수에 대응하는 미리 정해진 테이블을 이용하여 수신된 머지 예측자 코드워드에 대응하는 머지 예측자 인덱스를 복원한다.

공간 머지 후보자 유도부(332)의 동작은 상기 도 5의 공간 머지 후보자 유도부(232)의 동작과 동일하므로 생략한다.

시간 머지 후보자의 참조 픽쳐 인덱스 유도부(333), 시간 머지 후보자의 움직임 벡터 유도부(334) 및 시간 머지 후보자 구성부(335)의 동작은 각각 상기 도 5의 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(233), 시간 머지 후보자의 움직임 벡터 유도부(234) 및 시간 머지 후보자 구성부(235)의 동작과 동일하므로 생략한다.

머지 예측자 선택부(336)는 상기 머지 예측자 인덱스 복호화부(331)에 의해 복원된 머지 예측자 인덱스에 대응하는 머지 후보자를 머지 후보자 리스트에서 선택하여 현재 블록의 머지 예측자로 선택한다. 머지 후보자 리스트는 유효한 머지 후보자를 이용하여 구축된다. 이 경우, 복수개의 머지 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 머지 후보자를 리스트에서 삭제한다. 예를 들어, 정해진 순서는 A, B, Col, C, D 순이다. 여기서, Col은 시간 머지 후보자를 의미한다. 그러나, A, B, C, D 중 하나 이상이 유효하지 않은 경우에는 상기 유효하지 않은 최초 블록의 위치에 상기 유효한 E의 움직임 정보를 삽입할 수 있다. 또한, 상기 유효한 E의 움직임 정보를 가장 마지막 위치에 삽입할 수 있다.

한편, 머지 후보자 수가 미리 정해진 수보다 작으면, 머지 후보자를 생성할 수 있다. 이 경우, 추가되는 머지 후보자는 유효한 2개의 머지 후보자의 움직임 정보를 결합하여 생성할 수 있다. 예를 들어, 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 유효한 공간 움직임 벡터를 결합하여 생성할 수 있다. 복수개의 머지 후보자 생성이 가능한 경우, 미리 정해진 순서에 따라 리스트에 추가될 수 있다. 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 움직임 벡터를 결합하여 생성된 머지 후보자가 가장 먼저 리스트에 추가될 수 있다. 생성할 머지 후보자 수가 부족한 경우, 움직임 벡터가 0이고 참조 픽쳐 인덱스가 0인 머지 후보자가 추가될 수도 있다. 상기 미리 정해진 수는 픽쳐 또는 슬라이스 단위로 결정될 수 있다.

움직임 정보 생성부(337)는 상기 머지 후보자 인덱스에 대응하는 머지 예측자를 상기 머지 후보자 리스트 구축부(236)에 의해 구축된 리스트에서 선택하고, 상기 선택된 머지 예측자의 움직임 정보(즉, 움직임 벡터 및 참조픽쳐 인덱스)를 현재 블록의 움직임 정보로 결정한다.

도 7은 본 발명의 제3실시예에 따른 머지 모드 움직임 정보 복호화부(230)를 나타내는 블록도이다.

본 발명의 제3 실시예에 따른 머지 모드 움직임 정보 복호화부(230)는 본 발명의 제2 실시예에 따른 머지 모드 움직임 정보 복호화부(230)의 구성에 머지 후보자 생성부(437)가 추가된다. 따라서, 머지 예측자 인덱스 복호화부(431), 공간 머지 후보자 유도부(432), 시간 머지 후보자의 참조 픽쳐 인덱스 유도부(433), 시간 머지 후보자의 움직임 벡터 유도부(434), 시간 머지 후보자 구성부(435), 머지 후보자 생성부(437) 및 움직임 정보 생성부(438)의 동작은 제2 실시예에서와 동일하므로 생략한다.

머지 후보자 생성부(437)는 머지 후보자 수가 미리 정해진 수보다 작으면, 머지 후보자를 생성할 수 있다. 이 경우, 추가되는 머지 후보자는 유효한 2개의 머지 후보자의 움직임 정보를 결합하여 생성할 수 있다. 예를 들어, 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 유효한 공간 움직임 벡터를 결합하여 생성할 수 있다. 복수개의 머지 후보자 생성이 가능한 경우, 미리 정해진 순서에 따라 리스트에 추가될 수 있다. 시간 머지 후보자의 참조 픽쳐 인덱스와 공간 머지 후보자의 움직임 벡터를 결합하여 생성된 머지 후보자가 가장 먼저 리스트에 추가될 수 있다. 상기 방법에 의해 추가되는 머지 후보자 수는 미리 제한될 수 있다. 생성할 머지 후보자 수가 부족한 경우, 움직임 벡터가 0이고 참조 픽쳐 인덱스가 0인 머지 후보자가 추가될 수도 있다. 상기 미리 정해진 수는 픽쳐 또는 슬라이스 단위로 결정될 수 있다.

머지 예측자 선택부(436)는 공간 머지 후보자 유도부(432)에 의해 유도된 공간 머지 후보자, 시간 머지 후보자 구성부(435)에 의해 생성된 시간 머지 후보자 및 머지 후보자 생성부(437)에 의해 생성된 머지 후보자들을 이용하여 머지 후보자 리스트를 구축한다. 복수개의 머지 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 머지 후보자를 리스트에서 삭제한다. 예를 들어, 정해진 순서는 A, B, Col, C, D 순이다. 여기서, Col은 시간 머지 후보자를 의미한다. 그러나, A, B, C, D 중 하나 이상이 유효하지 않은 경우에는 상기 유효하지 않은 최초 블록의 위치에 상기 유효한 E의 움직임 정보를 삽입할 수 있다. 또한, 상기 유효한 E의 움직임 정보를 가장 마지막 위치에 삽입할 수 있다. 상기 머지 예측자 선택부는 머지 인덱스 복호화부(331)에 의해 복원된 머지 인덱스에 대응하는 머지 후보자를 상기 머지 후보자 리스트에서 선택하여 현재 블록의 머지 예측자로 선택한다.

도 8은 본 발명의 제1실시예에 따른 AMVP 모드 움직임 정보 복호화부를 나타내는 블록도이다.

본 발명의 제1 실시예에 따른 AMVP 모드 움직임 정보 복호화부는 AMVP 예측자 인덱스 복호화부(341), 잔차 움직임 정보 판독부(342), 공간 AMVP 후보자 유도부(343), 시간 AMVP 후보자 유도부(344), AMVP 예측자 선택부(345), 예측 움직임 벡터 생성부(346) 및 움직임 정보 생성부(347)을 포함한다. AMVP 후보자 수가 가변인 경우에 본 실시예가 적용된다.

*AMVP 예측자 인덱스 복호화부(341)는 AMVP 예측자 인덱스에 대응하는 코드워드가 존재하는지 여부를 판단한다. 코드워드가 존재하지 않을 경우, AMVP 후보자가 1개 존재하거나 존재하지 않는 것으로 판단한다. 존재하지 않는 경우에는 예측 움직임 벡터 생성부(346)는 움직임 벡터가 0인 움직임 벡터를 현재 블록의 움직임 벡터로 복원한다. 그리고, AMVP 후보자가 1개 존재하는 경우에는 예측 움직임 벡터 생성부(346)는 상기 AMVP 후보자의 움직임 벡터를 현재 블록의 블록의 움직임 벡터로 복원한다.

잔차 움직임 정보 판독부(342)는 현재 블록의 참조 픽쳐 인덱스와 차분 움직임 벡터를 판독한다.

공간 AMVP 후보자 유도부(343)는 현재 블록의 좌측 블록(블록 A)과 좌하측 블록(블록 D)들 중 하나를 좌측 공간 후보자로 택하고, 현재 블록의 상측 블록(블록 B), 현재 블록의 우상측 블록(블록 C), 및 현재 블록의 좌상측 블록(블록 E)들 중 하나를 상측 공간 후보자로 택할 수 있다. 이때 미리 정해진 순서로 스캔하여 유효한 첫번째 블록의 움직임 벡터가 후보자로 선택된다. 미리 정해진 순서는 좌측 블록의 경우에는 블록 A, 블록 D순서 또는 그 역순서로, 상측 블록의 경우에는 블록 B, 블록 C, 블록 E 순서 또는 블록 C, 블록 B, 블록 E 순서일 수 있다. 상기 AMVP 후보자의 블록의 위치와 머지 후보자의 블록의 위치는 동일하다.

시간 AMVP 후보자 유도부(344)는 도 1의 시간 머지/AMVP 후보자의 움직임 벡터 유도부(123)에 의해 얻어진 시간 머지 후보자의 움직임 벡터를 이용하여 시간 머지 후보자를 구성한다.

AMVP 예측자 선택부(345)는 상기 공간 AMVP 후보자 유도부(343) 및 시간 AMVP 후보자 유도부(344)에 의해 유도된 유효한 AMVP 후보자를 이용하여 리스트를 구축한다. 유효한 AVMP 후보자를 이용하여 정해진 순서에 따라 AVMP 후보자 리스트를 구축한다. 이 경우, 복수개의 AVMP 후보자가 동일 움직임 벡터를 가지면(참조픽쳐가 동일할 필요는 없음), 후순위의 AVMP 후보자를 리스트에서 삭제한다. 정해진 순서는 좌측, 상측, Col 순이거나, Col, 좌측, 상측 순일 수 있다.

그리고, 구축된 리스트 내의 유효한 AMVP 후보자 수에 대응하는 복호화 테이블을 선택하고, 선택된 테이블을 이용하여 현재 블록의 AMVP 예측자를 선택한다.

예측 움직임 벡터 생성부(346)는 상기 AMVP 예측자 선택부(345)에 의해 선택된 후보자의 움직임 벡터를 현재 블록의 예측 움직임 벡터로 결정한다.

움직임 정보 생성부(347)는 상기 움직임 벡터 생성부(346)에 의해 생성된 예측 움직임 벡터와 상기 잔차 움직임 벡터 판독부(342)에 의해 판독된 잔차 움직임 벡터를 더하여 현재 블록의 움직임 벡터를 생성한다. 그리고, 상기 잔차 움직임 벡터 판독부(342)에 의해 판독된 참조 픽쳐 인덱스를 현재 블록의 참조 픽쳐 인덱스로 설정한다.

도 9는 본 발명의 제2실시예에 따른 AMVP 모드 움직임 정보 복호화부를 나타내는 구성도이다.

본 발명의 제2 실시예에 따른 AMVP 모드 움직임 정보 복호화부는 예측자 인덱스 복호화부(441), 잔차 움직임 정보 판독부(442), 공간 AMVP 후보자 유도부(443), 시간 AMVP 후보자 유도부(444), AMVP 예측자 선택부(445), AMVP 후보자 생성부(446), 예측 움직임 벡터 생성부(447) 및 움직임 정보 생성부(448)을 포함한다. AMVP 후보자 수가 가변인 경우에 본 실시예가 적용된다.

예측자 인덱스 복호화부(441), 잔차 움직임 정보 판독부(442), 공간 AMVP 후보자 유도부(443), 시간 AMVP 후보자 유도부(444), AMVP 후보자 생성부(447), 예측 움직임 벡터 생성부(447) 및 움직임 정보 생성부(448)의 동작은 도 11의 대응하는 구성과 동일하므로 생략한다.

AMVP 후보자 생성부(446)는 AVMP 후보자 생성이 필요한지 여부를 판단한다. 상기한 AVMP 후보자 구성에서 AVMP 후보자 수가 고정된 값으로 설정된 경우에는, 유효한 AVMP 후보자 수가 고정된 값보다 작으면 AVMP 후보자를 생성한다. 그리고, 상기 생성된 AMVP 후보자를 리스트 내의 가장 후순위의 AMVP 후보자 다음 위치에 추가한다. 복수개의 AMVP 후보자가 추가될 경우에는 미리 정해진 순서에 따라 추가된다. 상기 추가되는 후보자는 움직임 벡터가 0인 후보자가 추가될 수 있다.

AMVP 예측자 선택부(445)는 공간 AMVP후보자 유도부(443)에 의해 유도된 공간 AMVP 후보자, 시간 AMVP 후보자 유도부(444)에 의해 생성된 시간 AMVP 후보자 및 AMVP 후보자 생성부(446)에 의해 생성된 AMVP 후보자들을 이용하여 AMVP 후보자 리스트를 구축한다. 복수개의 AMVP 후보자가 동일 움직임 정보(동일 움직임 벡터 및 동일 참조픽쳐 인덱스)를 가지면, 후순위의 AMVP후보자를 리스트에서 삭제한다. 정해진 순서는 좌측, 상측, Col 순이거나, Col, 좌측, 상측 순일 수 있다. 그리고, 구축된 리스트 내의 유효한 AMVP 후보자 수에 대응하는 복호화 테이블을 선택하고, 선택된 테이블을 이용하여 현재 블록의 AMVP 예측자를 선택한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

230: 머지 모드 움직임 정보 복호화부, 437: 머지 후보자 생성부

Claims (17)

1. 머지 모드 움직임 정보 복호화 장치에 있어서,
   수신된 머지 코드워드를 이용하여, 현재 블록의 머지 예측자 인덱스를 복원하는 머지 예측자 인덱스 복호화부;
   현재 블록의 공간 머지 후보자를 유도하는 공간 머지 후보자 유도부;
   현재 블록의 시간 머지 후보자를 생성하는 시간 머지 후보자 구성부;
   현재 블록의 유효한 머지 후보자 수가 미리 정해진 수보다 작을 경우, 머지 후보자를 생성하는 머지 후보자 생성부;
   상기 머지 후보자 유도부로부터 유도된 공간 머지 후보자, 상기 시간 머지 후보자 구성부에 의해 생성된 시간 머지 후보자 및 상기 머지 후보자 생성부에 의해 생성된 생성 머지 후보자를 이용하여 머지 후보자 리스트를 구축하고, 상기 머지 예측자 인덱스 복호화부로부터 수신된 머지 예측자 인덱스를 이용하여 머지 예측자를 선택하는 머지 예측자 선택부; 및
   상기 머지 예측자 선택부에 의해 선택된 머지 후보자의 참조 픽쳐 인덱스 및 움직임 벡터를 현재 블록의 참조 픽쳐 인덱스 및 움직임 벡터로 생성하는 움직임 정보 생성부를 포함하는 것을 특징으로 하는 머지 모드 움직임 정보 복호화 장치.
   
2. 제1항에 있어서, 상기 시간 머지 후보자 구성부는 현재 블록에 인접한 블록들 중 하나의 참조 픽쳐 인덱스 또는 0을 상기 시간 머지 후보자의 참조 픽쳐 인덱스로 설정하는 것을 특징으로 하는 움직임 정보 복호화 장치.
   
3. 제2항에 있어서, 시간 머지 후보자 구성부는 상기 시간 머지 후보자의 움직임 벡터를 생성하기 위해, 시간 머지 후보자 픽쳐를 결정하는 단계; 및 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 결정하는 단계를 수행하고, 상기 시간 머지 후보자 픽쳐는 슬라이스 타입에 따라 달리 결정되는 것을 특징으로 하는 움직임 정보 복호화 장치.
   
4. 제3항에 있어서, 상기 시간 머지 후보자 픽쳐는 참조 픽쳐 인덱스가 0인 픽쳐인 것을 특징으로 하는 움직임 정보 복호화 장치.
5. 제3항에 있어서, 상기 시간 머지 후보자 블록은 현재 블록의 위치에 따라, 제1 후보자 블록 및 제2 후보자 블록 순으로 검색하거나, 제2 후보자 블록만을 검색하여 유효한 블록인 것을
   특징으로 하는 움직임 정보 복호화 장치.
   
6. 제5항에 있어서, 상기 제1 후보자 블록은 상기 시간 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록의 좌하측 코너 블록이고, 제2 후보자 블록은 현재 예측 유닛에 대응하는 블록의 중앙 위치의 우하측 픽셀을 포함하는 블록인 것을 특징으로 하는 움직임 정보 복호화 장치.
   
7. 제1항에 있어서, 상기 머지 후보자 생성부는 유효한 머지 후보자들의 움직임 정보를 결합하여 머지 후보자를 생성하거나, 움직임 벡터가 0이고 참조픽쳐 인덱스가 0인 머지 후보자를 생성하는 것을 특징으로 하는 움직임 정보 복호화 장치.
8. 제7항에 있어서, 상기 머지 후보자 생성부는, 미리 정해진 상기 유효한 머지 후보자들의 움직임 정보를 결합하여 머지 후보자를 생성하는 경우, 미리 정해진 수보다 작거나 같게 머지 후보자를 생성하는 것을 특징으로 하는 움직임 정보 복호화 장치.
   
9. 현재 블록의 움직임 정보 부호화 모드가 스킵 또는 머지 모드인 경우, 움직임 정보를 복호화하는 머지 모드 움직임 정보 복호화부;
   복호화된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성하는 예측블록 생성부; 및
   잔차신호를 역스캐닝하여 2차원 양자화 블록을 생성하고, 상기 2차원의 양자화 블록을 양자화 스텝 사이즈를 이용하여 역양자화하고, 상기 역양자화 블록을 역변환하여 잔차블록을 생성하는 잔차블록 복호화부;를 포함하고,
   상기 양자화 스텝 사이즈는 미리 정해진 크기 단위로 복원되는 것을 특징으로 하는 동영상 복호화 장치.
10. 제1항에 있어서, 현재 블록이 속하는 코딩 유닛이 상기 미리 정해진 크기 단위 내에 속하는 복수개의 코딩 유닛 중 하나인 경우, 현재 블록이 속하는 코딩 유닛이 부호화 순서상 상기 복수개의 코딩 유닛 중 첫번째인 경우에는 현재 블록이 속하는 코딩 유닛의 양자화 스텝 사이즈 예측자 및 차분 양자화 스텝 사이즈를 이용하여 현재 블록이 속하는 상기 미리 정해진 크기 단위의 양자화 스텝 사이즈를 복원하는 것을 특징으로 하는 동영상 복호화 장치.
11. 제1항에 있어서, 머지 모드 움직임 정보 복호화부는 공간 머지 후보자 유도부 및 시간 머지 후보자 구성부를 포함하고,
    상기 시간 머지 후보자 구성부는 각각 별도로 유도된 시간 머지 후보자의 참조 픽쳐 인덱스 및 시간 머지 후보자의 움직임 벡터를 이용하여 시간 머지 후보자를 구성하는 것을 특징으로 하는 동영상 복호화 장치.
12. 제3항에 있어서, 상기 시간 머지 후보자의 참조 픽쳐 인덱스는 현재 블록에 인접한 블록들 중 하나의 참조 픽쳐 인덱스 또는 0으로 설정되는 것을 특징으로 하는 동영상 복호화 장치.
13. 제3항에 있어서, 시간 머지 후보자 구성부는 상기 시간 머지 후보자의 움직임 벡터를 생성하기 위해, 시간 머지 후보자 픽쳐를 결정하는 단계; 및 상기 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록을 결정하는 단계를 수행하고, 상기 시간 머지 후보자 픽쳐는 슬라이스 타입에 따라 달리 결정되는 것을 특징으로 하는 동영상 복호화 장치.
14. 제5항에 있어서, 상기 시간 머지 후보자 블록은 현재 블록의 위치에 따라, 제1 후보자 블록 및 제2 후보자 블록 순으로 검색하거나, 제2 후보자 블록만을 검색하여 유효한 블록인 것을
    특징으로 하는 동영상 복호화 장치.
15. 제6항에 있어서, 상기 제1 후보자 블록은 상기 시간 후보자 픽쳐 내의 현재 예측 유닛에 대응하는 블록의 좌하측 코너 블록이고, 제2 후보자 블록은 현재 예측 유닛에 대응하는 블록의 중앙 위치의 우하측 픽셀을 포함하는 블록인 것을 특징으로 하는 동영상 복호화 장치.
16. 제1항에 있어서, 현재 블록의 유효한 머지 후보자 수가 미리 정해진 수보다 작을 경우, 머지 후보자를 생성하는 머지 후보자 생성부를 더 포함하고, 상기 머지 후보자 생성부는 유효한 머지 후보자들의 움직임 정보를 결합하여 머지 후보자를 생성하거나, 움직임 벡터가 0이고 참조픽쳐 인덱스가 0인 머지 후보자를 생성하는 것을 특징으로 하는 움직임 정보 복호화 장치.
17. 제7항에 있어서, 상기 머지 후보자 생성부는, 미리 정해진 상기 유효한 머지 후보자들의 움직임 정보를 결합하여 머지 후보자를 생성하는 경우, 미리 정해진 수보다 작거나 같게 머지 후보자를 생성하는 것을 특징으로 하는 움직임 정보 복호화 장치.

Images