KR20140051026A - 영상 부호화 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 부호화 방법에 관한 것으로, 보다 상세하게는 기본 계층의 움직임 벡터와 상기 기본 계층의 움직임 벡터의 주변 일정범위를 검색영역으로 설정하는 단계; 상기 검색영역 내에서 후보 움직임 벡터를 선택하는 단계; 및 상기 선택된 후보 움직임 벡터에 대한 비용을 예측하는 단계;를 포함하여, 강화 계층의 움직임 벡터 예측을 보다 정확하게 수행함으로써 압축 효율을 향상시킬 수 있는 영상 부호화 방법을 제공한다.

Description

영상 부호화 방법 및 장치{Method and Apparatus for image encoding}

본 발명은 영상 부호화 방법 및 장치에 관한 것이다.

H.264/AVC 는 고성능의 압축 효율을 갖는 비디오 압축 표준 기술이다. H.264/AVC 에서는 영상 내의 상관성을 제거하기 위한 화면 내 예측 기술, 영상 간의 상관성을 제거하기 위한 화면 간 예측 기술을 통하여 원본 신호를 예측 부호화할 수 있다. H.264/AVC의 부호화기는 원본 신호와 예측 신호의 차이 값인 차분 값에 대하여 이산 여현 변환 부호화와 양자화를 수행한다. 그리고 양자화된 신호는 지그재그 스캐닝 방법으로 정렬된 후 엔트로피부호화된다.

최근에 ITU-T VCEG(Video Coding Experts Group)와 ISO/IEC MPEG(Moving Picture Experts Group)은 JCT-VC(Joint Collaborative Team on Video Coding)을 구성하여 새로운 영상 압축 표준인 HEVC(High Efficiency Video Coding)의 표준화를 진행 중이며, 이는 기존에 제정된 표준인 H.264/AVC에 비교하여 현재 약 40% 이상의 압축 효율의 향상이 달성되어 있는 것으로 알려져 있다. H.264/AVC와 HEVC는 기본적으로 블록 기반의 영상 부호화기이라는 점은 동일하지만 16x16의 고정된 크기인 MB(Macro Block) 단위의 부호화를 수행하는 H.264/AVC와는 다르게 HEVC는 Common test condition 내에서 최대 64x64 크기로부터 8x8 크기까지의 다양한 크기를 갖는 CU(Coding Unit)의 기반에 따른 부호화를 수행한다.

HEVC에 구현되어 있는 움직임 벡터 관련 주요 기술은 크게 Merge 기술과 향상된 움직임 벡터 예측(AMVP: Advanced Motion Vector Prediction)기술이다.

Merge 기술은 적절한 주변 움직임 벡터들을 Merge 후보 리스트에 넣은 후, 이 후보군에 있는 리스트를 검사하여 해당 움직임 벡터와의 Merge 여부를 결정하는 기술이고, AMVP 기술은 multi-candidate 기반의 움직임 벡터 결정 기술로, 적절한 주변 움직임 벡터들을 이용하여 움직임 벡터 후보군을 생성하고, 해당 후보군 안에 들어있는 후보 리스트 안에서 최적의 움직임 벡터를 선택하여, 후보군을 나타내는 인덱스와 최적 움직임 벡터를 동시에 선택하는 기술이다.

위의 두 기술을 통해 HEVC는 높은 부호화 효율을 달성할 수 있었으므로, HEVC(High Efficiency Video Coding) 기반의 공간적 계층부호화(Spatial Scalable Coding) 방법에서도 위의 두 기술을 사용하고 있다.

이때, Merge 후보 리스트와 AMVP 후보 리스트를 생성함에 있어서 기본 계층의 정보를 이용함으로써 더 높은 압축 효율을 달성하려는 선행연구들이 진행되었다.

그러나, 기존의 HEVC 기반 공간적 계층부호화 과정에서 강화 계층의 움직임 벡터를 예측하기 위해 사용하는 기본 계층의 정보는 움직임 벡터로 제한적이었다.

또한, 기본 계층의 LCU가 하위 CU로 분할되고 NxN 타입의 PU를 가질 경우, 강화 계층 LCU의 최적 움직임 벡터 mv* 를 결정을 위해 사용되는 기본 계층의 움직임 벡터는 최대 4개(mv0 , mv1, mv2, mv3)의 서로 다른 값을 가지게 되는 문제점 이 있다.

또한, 종래에는, 기본 계층의 움직임 벡터를 스케일링하여 그대로 사용하기 때문에, 기본 계층의 4개의 움직임 벡터 중 최적의 움직임 벡터를 선택할 수 있는 방법이 존재하지 않았다.

또한, 기본 계층 4개의 움직임 벡터가 서로 다른 값을 가질 경우, 4개의 움직임 벡터 중 하나의 값을 선택하여 그대로 사용하였기 때문에 압축효율이 좋지 않은 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 부호화시에 압축효율을 향상시키도록 하는 영상 부호화 방법 및 장치를 제공하는 데 그 목적이 있다.

또한, 강화 계층의 PU를 위한 적절한 움직임 벡터를 예측하도록 하는 영상 부호화 방법 및 장치를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명의 일관점은, 영상 부호화 방법에 있어서, 기본 계층의 움직임 벡터와 상기 기본 계층의 움직임 벡터의 주변 일정범위를 검색영역으로 설정하는 단계와, 상기 검색영역 내에서 후보 움직임 벡터를 선택하는 단계 및 상기 선택된 후보 움직임 벡터에 대한 비용을 예측하는 단계를 포함하는, 영상 부호화 방법을 제공한다.

여기서, 상기 검색영역은, 상기 기본 계층의 움직임 벡터와 검색 움직임 벡터의 합으로 결정되는 것이 바람직하다.

또한, 상기 검색 움직임 벡터는, {-a, 0, a}로 구성된 집합(여기서, a는 자연수)에서 임의의 2개의 조합으로 구성될 수 있다.

한편, 상기 비용을 예측하는 단계는, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리를 기초로 하여 결정되는 것이 바람직하다.

여기서, 상기 비용을 예측하는 단계는, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리가 증가할수록 왜곡값이 증가하지만 상기 왜곡값의 증가율은 감소하는 특성을 갖는 왜곡 예측함수를 사용하는 것이 바람직하다.

또한, 상기 비용을 예측하는 단계는, 상기 검색 움직임 벡터와 강화 계층의 예측 움직임 벡터를 부호화하였을 때 발생하는 비트량과 상기 왜곡 예측함수를 포함하는 비용 예측 함수를 사용하는 것이 바람직하다.

또한, 상기 비용을 예측하는 단계는, 복수개의 상기 기본 계층의 움직임 벡터에 대해 상기 비용 예측 함수로 각 비용을 계산한 후에, 상기 비용을 모두 합한 최종 예측 비용을 계산하는 것이 바람직하다.

또한, 영상 부호화 방법은, 상기 비용을 예측하는 단계에서 최종 예측 비용이 가장 적은 상기 검색 움직임 벡터를 최종 후보 움직임 벡터로 결정하는 단계를 더 포함하는 것이 바람직하다.

한편, 상기 최종 후보 움직임 벡터는, 공간적 확장 비율에 따라 스케일링될수 있다.

또한, 상기 최종 후보 움직임 벡터는, 통합(Merge) 후보 리스트 또는 향상된 움직임 벡터 예측(Advance Motion Vector Prediction) 후보 리스트에 추가되는 것이 바람직하다.

본 발명에 의하면 움직임 벡터와 잔차신호 등의 확장된 기본 계층 정보를 이용하여 강화 계층을 위한 정확한 움직임 벡터를 구할 수 있도록 함으로써 부호화 효율 향상시키는 효과가 있다.

또한, 복수개의 서로 다른 기본 계층의 움직임 벡터가 존재할 경우, 그 주변의 일정 범위를 검색하여 예측 움직임 벡터를 결정할 수 있도록 함으로써 강화 계층의 부호화 효율을 향상시키는 효과가 있다.

도 1은 영상 부호화 장치 구조의 일 예를 개략적으로 도시한 것이다.
도 2는 영상 복호화 장치 구조의 일 예를 개략적으로 도시한 것이다.
도 3은 부호화/복호화 대상 픽쳐와 참조 픽쳐의 일 예를 나타낸다.
도 4는 본 발명의 일실시예에 따른 영상 부호화방법을 도시한 순서도이다.
도 5는 본 발명의 일실시예에 따른 영상 부호화방법에 포함된 움직임 벡터 검색 영역 설정방법을 도시한 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 영상 부호화 장치 구조의 일 예를 개략적으로 도시한 것이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160),역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.

화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있다.)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력한다.

HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.

도 2는 영상 복호화 장치 구조의 일 예를 개략적으로 도시한 것이다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.

엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.

화면 내 예측 모드인 경우, 인트라 예측부(240)(또는 화면 간 예측부)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다.

본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.

본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit, 이하 'CU'라 함)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 이하, 본 발명의 실시예에서 설명하는 영상 부호화 방법은, 도 1 및 도 2에서 전술한 각 모듈의 기능에서 맞게 구현될 수 있고 이러한 부호화기 및 복호화기는 본 발명의 권리범위에 포함된다. 즉, 본 발명의 실시예에서 후술할 영상 부호화/복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

상술한 도 1, 도 2의 실시예에 따른 영상 부호화/복호화에서는, 영상의 효율적인 부호화를 위해, 단일 크기의 매크로블록이 다양한 크기로 확장된 CU 구조가 정의될 수 있다. CU는 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 또한 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다. SCU를 제외한 모든 CU는 split_flag 정보를 할당하여 그 값에 따라 해당 CU가 분할된 영역인지 아닌지를 지시하게 된다. 부호화기는 다양한 비디오 신호 특성에 따라, 부호화 과정에서 LCU의 크기를 조절할 수도 있다. CU는 인트라 또는 인터 예측에 사용되도록 PU(Prediction Unit)으로 분할될 수 있으며, 변환 및 양자화를 위해 TU(Transform Unit)으로 분할될 수 있다. 이하, 블록은 부호화/복호화의 단위를 의미한다. 부호화/복호화 과정에서, 영상은 소정의 크기로 분할되어 부호화/복호화된다. 따라서, 블록은 CU, PU, TU등으로도 불릴 수도 있으며, 하나의 블록은 더 작은 크기의 하위 블록으로 분할될 수도 있다.

여기서, PU는 예측 및/또는 움직임 보상 수행의 기본 단위를 의미한다. PU는 복수의 파티션(partition)으로 분할될 수 있으며, 각각의 파티션은 PU 파티션(prediction unit partition)으로 불린다. PU가 복수의 파티션으로 분할된 경우, PU 파티션은 예측 및/또는 움직임 보상 수행의 기본단위가 될 수 있다. 이하, 본 발명의 실시예에서는 PU는 PU 파티션을 의미할 수도 있다.

한편, HEVC(High Efficiency Video Coding)에서는 향상된 움직임 벡터 예측(AMVP: Advanced Motion Vector Prediction)에 기반한 움직임 벡터 예측(motion vector prediction) 방법을 사용한다.

향상된 움직임 벡터 예측에 기반한 움직임 벡터 예측 방법에서는 부호화/복호화 대상 블록의 주변에 위치하는 복원 블록의 움직임 벡터(MV: Motion Vector)뿐만 아니라, 참조 픽쳐(reference picture) 내에서 부호화/복호화 대상 블록과 동일한 위치 또는 대응되는 위치에 존재하는 블록의 움직임 벡터를 이용할 수 있다. 이때. 참조 픽쳐 내에서 부호화/복호화 대상 블록과 동일한 위치 또는 공간적으로 대응되는 위치에 존재하는 블록을 동등 위치 블록(collocated block), 동등 위치 블록의 움직임 벡터를 동등 위치 움직임 벡터(collocated motion vector) 또는 시간적 움직임 벡터(temporal motion vector)라고 부른다. 그러나, 동동 위치 블록(collocated block)은 참조 픽쳐의 부호화/복호화 대상 블록과 반드시 동일한 위치에 존재하는 블록만이 아니라, 부호화/복호화 대상 블록과 위치가 유사한, 즉 대응되는 위치에 존재하는 블록일 수도 있다.

움직임 정보 병합(motion information merge) 방법에서는 움직임 정보를 주변에 위치하는 복원 블록뿐만 아니라 동등 위치 블록으로부터도 유추하여, 부호화/복호화 대상 블록의 움직임 정보로 이용한다. 이때, 움직임 정보는 인터 예측 시에 필요한 참조 픽쳐 인덱스(reference picture index), 움직임 벡터, 단방향(uni-direction) 또는 양방향(bi-direction) 등을 나타내는 인터 예측 모드 정보, 참조 픽쳐 리스트(reference picture list), 인트라 예측 모드로 부호화되었는지 인터 예측 모드로 부호화되었는지에 관한 예측 모드(prediction mode) 정보 중 적어도 하나 이상을 포함하는 정보이다.

부호화/복호화 대상 블록에서 예측된 움직임 벡터(predictied motion vector)는 부호화/복호화 대상 블록과 공간적으로 인접한 주변 블록의 움직임 벡터뿐만 아니라, 부호화/복호화 대상 블록과 시간적으로 인접한 블록인 동등 위치 블록의 움직임 벡터일 수도 있다.

도 3은 부호화/복호화 대상 픽쳐와 참조 픽쳐의 일 예를 나타낸다.

도 3을 참조하면, 블록 X는 부호화/복호화 대상 픽쳐(310) 내의 부호화/복호화 대상 블록을 나타내며, 블록 A, 블록 B, 블록 C, 블록 D 및 블록 E는 부호화/복호화 대상 블록의 주변에 위치하는 복원 블록을 나타낸다. 그리고, 참조 픽쳐(320) 내의 블록 T는 부호화/복호화 대상 블록과 대응되는 위치에 존재하는 동등 위치 블록을 나타낸다.

도 4는 본 발명의 일실시예에 따른 영상 부호화방법을 도시한 순서도이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 영상 부호화 방법은,기본 계층의 움직임 벡터와 상기 기본 계층의 움직임 벡터의 주변 일정범위를 검색영역으로 설정하여 후보 움직임 벡터를 선택하는 단계를 포함한다.

먼저, 강화 계층의 PU에 대응하는 기본 계층의 비트스트림으로부터 움직임벡터(mv_i)와, 잔차 신호(c_i)를 추출한다(S110). 여기서, 기본 계층의 움직임벡터(mv_i, i=0 ,..., K)는 강화 계층의 PU에 대응하는 기본 계층의 PU로부터 도출된다. 잔차 신호(c_i)는 기본 계층의 PU에서 해당 mvi 를 사용하였을 경우, 움직임 예측 에러의 절대값의 합으로 계산한다.

다음으로, 기본 계층의 움직임 벡터(mv_i) 주변의 일정 범위(P)를 움직임 벡터 검색 영역(S)으로 설정한다(S120). 검색 영역을 설정하는 일실시예는 후술한다.

이후, 움직임 벡터 검색영역안의 모든 움직임 벡터를 검색하였는지 체크한다(S130).

상기 체크결과, 모든 움직임 벡터가 검색되지 않았다면, 움직임 벡터 검색 영역에서 검색 움직임 벡터를 선택하는 단계를 수행한다(S140).

이후, 선택된 검색 움직임 벡터에 대해 움직임 벡터 비용 예측 함수를 사용하여 비용을 예측한다(S150).

다음으로, 검색 움직임 벡터와 예측된 비용을 메모리에 저장하고(S160), 다시 움직임 벡터 검색영역안의 모든 움직임 벡터를 검색하였는지 체크하는 단계를 재귀적으로 수행한다.

이때, 움직임 벡터 검색영역안의 모든 움직임 벡터를 검색하였다면, 메모리에 저장되었던 예측 비용중에서 최소값을 찾고 이에 해당하는 검색 움직임 벡터를 최종 후보 움직임 벡터로 선택한다(S170).

이후, 상기 최종 후보 움직임 벡터에 대해 공간적 확장비율에 따라 스케일링을 수행한다(S180).

마지막으로, 스케일링된 최종 후보 움직임 벡터를 강화 계층의 PU를 위한 Merge 후보 리스트와 AMVP 후보 리스트에 추가하게 된다(S190).

도 5은 본 발명의 일실시예에 따른 영상 부호화방법에 포함된 움직임 벡터 검색 영역 설정방법을 도시한 것이다.

도 5를 참조하면, 기본 계층의 움직임 벡터(mv_i) 주변에 수평/수직 방향으로 총 9 픽셀의 일정 범위(P)를 설정하고, 이를 움직임 벡터 검색 영역(S)로 설정한다. 여기서, 검색영역(S)은,상기 기본 계층의 움직임 벡터(mv_i)와 검색 움직임 벡터(mv_r)의 합으로 결정된다.

도 5에서는, 검색 움직임 벡터(mv_r)가 {-4, 0, 4}로 구성되었지만, 이는 하나의 실시예이고, 일반적으로 표시하면, {-a, 0, a}로 구성된 집합(여기서, a는 자연수)에서 임의의 2개의 조합으로 구성될 수 있다.

한편, 상기 P와 S를 수식으로 표현하면 다음과 같다.

[수학식 1]

P = {mv_r = (x, y) : x, y ∈ {-4, 0, 4}, r = 1, ..., 9 }

[수학식 2]

S = {mv_s = mv_i + mv_r : i=1, ..., 3, r = 1, ..., 9}

다음으로, 선택된 검색 움직임 벡터(mv_s)를 움직임 벡터 비용 예측 함수(수학식 3)에 대입하여 해당 움직임 벡터를 사용할 경우의 비용을 예측한다.

여기서, 상기 비용 예측 함수는 기본 계층의 움직임 벡터(mv_i)가 율-왜곡 최적화의 결과로 구한 움직임 벡터이므로, 검색 움직임 벡터(mv=mv_s)가 기본 계층의 움직임 벡터로부터 멀어질수록 비용이 증가한다는 가정을 기반으로 하고 있다.

이에 따라, 수학식 3에서는 두 벡터 간의 거리(l)를 측정할 수 있는 함수를 정의하였다. 수학식 3외에도 두 벡터 간의 거리를 측정할 수 있는 다양한 방법을 본 발명에 사용할 수 있음은 물론이다.

[수학식 3]

여기서,

수학식 3에서 구한 두 벡터 간의 거리(l)와 상기 가정에 기반하여 본 발명에서는 수학식 4의 왜곡 예측 함수를 제안한다. 제안한 왜곡 예측 함수는 거리(l) 가 증가할수록 왜곡값이 증가하지만, 그 증가율은 감소하는 특성이 있다. 또한 a, b 함수 파라메터를 가지고 있으며, 이는 미리 다양한 실험 영상을 통해 구해진 결과이다.

[수학식 4]

강화 계층 PU의 PMV(Predictive Motion Vector)와 검색 움직임 벡터(mv)를 부호화하였을 경우 발생하는 비트량 R(mv)에 라그랑지안 지수와 곱하여 수학식 4에서 구한 왜곡 예측값과 합함으로써 기본 계층의 움직임 벡터(mvi)에 의한 비용 값을 수학식 5와 같이 예측할 수 있다. 여기서 PMV와 R(mv)를 구하는 방법은 HEVC 레퍼런스 소프트웨어인 HM에서 제공하는 방법을 그대로 사용하였다.

[수학식 5]

강화 계층 PU에 대응하는 기본 계층의 K 개의 움직임 벡터(mv_i, i=0 ,..., K)에 대하여 수학식 5의 비용 예측 함수를 사용하여 비용을 구하고 그것을 모두 합하여 수학식 6와 같이 검색 움직임 벡터(mv=mv_s)의 최종 예측 비용을 구하게 된다.

[수학식 6]

검색 움직임 벡터 중 가장 작은 비용을 갖는 움직임 벡터를 최종 후보 움직임 벡터(mv+)로 결정한다.

최종 후보 움직임 벡터(mv+)를 공간적 확장 비율에 따라 스케일링하고, 스케일링된 움직임 벡터(mv*)를 강화 계층의 PU를 위한 Merge 후보 리스트와 AMVP 후보 리스트에 추가하게 된다.

이와 같이, 기존의 HEVC 기반 공간적 계층부호화 과정에서 강화 계층의 움직임 벡터를 예측하기 위해 사용하는 기본 계층의 정보는 움직임 벡터로 제한적이지만 본 발명은 움직임 벡터와 잔차신호 등을 사용할 수 있게 확장하여 강화 계층을 위한 정확한 움직임 벡터를 구할 수 있도록 구성하였다.

또한, 기본 계층의 LCU가 하위 CU로 분할되고 NxN 타입의 PU를 가질 경우, 강화 계층 LCU의 최적 움직임 벡터 mv* 를 결정을 위해 사용되는 기본 계층의 움직임 벡터는 최대 4개(mv0 , mv1, mv2, mv3)의 서로 다른 값을 가지게 되는데, 이러한 경우도 기본 계층의 4개의 움직임 벡터 중 최적의 움직임 벡터를 선택할 수 있게 된다. 즉, 기본 계층의 4개의 움직임 벡터와 그 주변의 일정 범위의 움직임 벡터 중 강화 계층의 움직임 벡터 예측을 정확하게 수행할 수 있게 된다.

100: 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120: 인트라 예측부
125: 감산기 130: 변환부
140: 양자화부 150: 엔트로피 부호화부

Claims (20)

1. 영상 부호화 방법에 있어서,
   기본 계층의 움직임 벡터와 상기 기본 계층의 움직임 벡터의 주변 일정범위를 검색영역으로 설정하는 단계;
   상기 검색영역 내에서 후보 움직임 벡터를 선택하는 단계; 및
   상기 선택된 후보 움직임 벡터에 대한 비용을 예측하는 단계;를 포함하는, 영상 부호화 방법.
2. 청구항 1에 있어서,
   상기 검색영역은, 상기 기본 계층의 움직임 벡터와 검색 움직임 벡터의 합으로 결정되는, 영상 부호화 방법.
3. 청구항 1에 있어서,
   상기 검색 움직임 벡터는, {-a, 0, a}로 구성된 집합(여기서, a는 자연수)에서 임의의 2개의 조합으로 구성되는, 영상 부호화 방법.
4. 청구항 2에 있어서,
   상기 비용을 예측하는 단계는, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리를 기초로 하여 결정되는, 영상 부호화 방법.
5. 청구항 4에 있어서,
   상기 비용을 예측하는 단계는, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리가 증가할수록 왜곡값이 증가하지만 상기 왜곡값의 증가율은 감소하는 특성을 갖는 왜곡 예측함수를 사용하는, 영상 부호화 방법.
6. 청구항 5에 있어서,
   상기 비용을 예측하는 단계는, 상기 검색 움직임 벡터와 강화 계층의 예측 움직임 벡터를 부호화하였을 때 발생하는 비트량과 상기 왜곡 예측함수를 포함하는 비용 예측 함수를 사용하는, 영상 부호화 방법.
7. 청구항 6에 있어서,
   상기 비용을 예측하는 단계는, 복수개의 상기 기본 계층의 움직임 벡터에 대해 상기 비용 예측 함수로 각 비용을 계산한 후에, 상기 비용을 모두 합한 최종 예측 비용을 계산하는, 영상 부호화 방법.
8. 청구항 7에 있어서,
   영상 부호화 방법은, 상기 비용을 예측하는 단계에서 최종 예측 비용이 가장 적은 상기 검색 움직임 벡터를 최종 후보 움직임 벡터로 결정하는 단계를 더 포함하는, 영상 부호화 방법.
9. 청구항 8에 있어서,
   상기 최종 후보 움직임 벡터는, 공간적 확장 비율에 따라 스케일링되는, 영상 부호화 방법.
10. 청구항 9에 있어서,
    상기 최종 후보 움직임 벡터는, 통합(Merge) 후보 리스트 또는 향상된 움직임 벡터 예측(Advance Motion Vector Prediction) 후보 리스트에 추가되는, 영상 부호화 방법.
11. 프로세서(processor); 및
    상기 프로세서와 연결되며 상기 프로세서를 구동하기 위한 정보를 저장하는 메모리를 포함하되,
    상기 프로세서는, 기본 계층의 움직임 벡터와 상기 기본 계층의 움직임 벡터의 주변 일정범위를 검색영역으로 설정하고, 상기 검색영역 내에서 후보 움직임 벡터를 선택하고, 상기 선택된 후보 움직임 벡터에 대한 비용을 예측하도록 구성되는, 영상 부호화 장치.
12. 청구항 11에 있어서,
    상기 검색영역은, 상기 기본 계층의 움직임 벡터와 검색 움직임 벡터의 합으로 결정되는, 영상 부호화 장치.
13. 청구항 11에 있어서,
    상기 검색 움직임 벡터는, {-a, 0, a}로 구성된 집합(여기서, a는 자연수)에서 임의의 2개의 조합으로 구성되는, 영상 부호화 장치.
14. 청구항 12에 있어서,
    상기 비용의 예측은, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리를 기초로 하여 결정되는, 영상 부호화 장치.
15. 청구항 14에 있어서,
    상기 비용의 예측은, 상기 기본 계층의 움직임 벡터와 상기 검색 움직임 벡터간의 거리가 증가할수록 왜곡값이 증가하지만 상기 왜곡값의 증가율은 감소하는 특성을 갖는 왜곡 예측함수를 사용하도록 구성되는, 영상 부호화 장치.
16. 청구항 15에 있어서,
    상기 비용의 예측은, 상기 검색 움직임 벡터와 강화 계층의 예측 움직임 벡터를 부호화하였을 때 발생하는 비트량과 상기 왜곡 예측함수를 포함하는 비용 예측 함수를 사용하도록 구성되는, 영상 부호화 장치.
17. 청구항 16에 있어서,
    상기 비용의 예측은, 복수개의 상기 기본 계층의 움직임 벡터에 대해 상기 비용 예측 함수로 각 비용을 계산한 후에, 상기 비용을 모두 합한 최종 예측 비용을 계산하도록 구성되는, 영상 부호화 장치.
18. 청구항 17에 있어서,
    영상 부호화 장치는, 상기 비용을 예측하는 단계에서 최종 예측 비용이 가장 적은 상기 검색 움직임 벡터를 최종 후보 움직임 벡터로 결정하도록 구성되는, 영상 부호화 장치.
19. 청구항 18에 있어서,
    상기 최종 후보 움직임 벡터는, 공간적 확장 비율에 따라 스케일링되도록 구성되는, 영상 부호화 장치.
20. 청구항 19에 있어서,
    상기 최종 후보 움직임 벡터는, 통합(Merge) 후보 리스트 또는 향상된 움직임 벡터 예측(Advance Motion Vector Prediction) 후보 리스트에 추가되도록 구성되는, 영상 부호화 장치.

Images