KR20130101939A - 영상 부호화/복호화 방법 및 그 장치 - Google Patents

Abstract

본 발명에 따른 영상 부호화 방법은 상위 CU에 대한 인터 예측 결과에 기반하여, 현재 CU의 인터 예측에 상위 CU의 예측 정보를 사용할 지 여부를 판단하는 단계, 판단 결과에 기반하여, 현재 CU에 대한 인터 예측을 수행하는 단계, 현재 CU에 대한 인터 예측 결과에 기반하여, 현재 CU에 대한 부호화 모드를 결정하는 단계, 결정된 부호화 모드를 이용하여, 현재 CU가 속한 LCU의 분할 형태 및 크기를 결정하는 단계 및 결정된 LCU의 분할 형태 및 크기에 기반하여 입력 영상에 대한 부호화를 수행하는 단계를 포함한다. 본 발명에 의하면, 영상 부호화 효율이 향상되고 복잡도가 감소될 수 있다.

Description

영상 부호화/복호화 방법 및 그 장치 {METHOD FOR VIDEO ENCODING/DECODING AND APPARATUS THEREOF}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 영상 부호화/복호화 방법 및 그 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축 기술에는 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 있다.

본 발명의 기술적 과제는 영상 부호화 효율을 향상시키고 복잡도를 감소시킬 수 있는 영상 부호화 방법 및 그 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 영상 부호화 효율을 향상시키고 복잡도를 감소시킬 수 있는 CU 결정 방법 및 그 장치를 제공함에 있다.

본 발명의 일 실시 형태는 영상 부호화 방법이다. 상기 방법은 상위 CU(Coding Unit)에 대한 인터 예측 결과에 기반하여, 현재 CU의 인터 예측에 상기 상위 CU의 예측 정보(prediction information)를 사용할 지 여부를 판단하는 단계, 상기 판단 결과에 기반하여, 상기 현재 CU에 대한 인터 예측을 수행하는 단계, 상기 현재 CU에 대한 인터 예측 결과에 기반하여, 상기 현재 CU에 대한 부호화 모드를 결정하는 단계, 상기 결정된 부호화 모드를 이용하여, 상기 현재 CU가 속한 LCU(Largest Coding Unit)의 분할 형태 및 크기를 결정하는 단계 및 상기 결정된 LCU의 분할 형태 및 크기에 기반하여 입력 영상에 대한 부호화를 수행하는 단계를 포함하되, 상기 현재 CU는 상기 상위 CU가 동일한 크기의 4개의 하위 CU로 분할되는 경우, 상기 4개의 하위 CU 중 하나에 해당되는 CU이고, 상기 예측 정보는 참조 픽쳐(reference picture) 관련 정보, 움직임 벡터(motion vector) 정보, 예측 방향(prediction direction) 정보 및 인터 모드 예측값 정보 중 적어도 하나를 포함한다.

본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화 효율이 향상되고 복잡도가 감소될 수 있다.

본 발명에 따른 CU 결정 방법에 의하면, 영상 부호화 효율이 향상되고 복잡도가 감소될 수 있다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 블록이 복수의 하위 블록으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4는 CU 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 본 발명에 따른 CU 결정 방법의 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명에 따른 CU 결정 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 7은 본 발명에 따른 CU 결정 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 픽쳐에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 픽쳐를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

이하, 블록(block)은 영상 부호화, 복호화 및/또는 압축이 수행되는 기본 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화할 때 그 분할된 단위를 의미하므로, 코딩 유닛 (CU: Coding Unit, 이하 CU라 함.), 예측 유닛(PU: Prediction Unit, 이하 PU라 함.), 변환 유닛(TU: Transform Unit, 이하 TU라 함.) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.

도 3은 하나의 블록이 복수의 하위 블록으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.

상술한 바와 같이, 영상 부호화 과정은 블록 단위로 수행될 수 있다. 여기서, 일례로 상기 블록은 CU에 해당될 수 있다. 즉, 도 3의 실시예에서 각각의 블록은 CU를 나타낼 수 있다.

하나의 블록은 4진 트리 구조(quad tree structure)를 기초로 깊이(depth or depth level) 정보를 가지고 계층적으로 분할될 수 있다. 즉, 하나의 블록은, 동일한 크기의 네 개의 하위 블록으로 분할될 수 있으며, 분할된 각각의 하위 블록 또한 가능한 분할 크기 범위 내에서 동일한 방식으로 반복적으로 분할될 수 있다. 각각의 분할된 하위 블록은 깊이 값을 가질 수 있다. 여기서, 깊이(depth)는 블록이 분할된 회수 및/또는 정도를 나타낼 수 있다. 따라서, 깊이 값은 상기 하위 블록의 크기에 관한 정보를 포함할 수도 있다.

도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 블록을 나타낼 수 있다. 분할되지 않은 최초의 블록은 최대 크기를 갖는 CU에 해당될 수 있고, 최대 크기를 갖는 CU는 LCU(Largest Coding Unit)으로 불릴 수 있다.

레벨 1의 깊이를 갖는 하위 노드는 최초 블록이 한 번 분할된 블록을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 블록이 두 번 분할된 블록을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 블록 a는 최초 블록에서 한 번 분할된 블록이고, 레벨 1의 깊이를 가질 수 있다.

레벨 3의 리프 노드(leaf node)는 최초 블록이 3번 분할된 블록을 나타낼 수 있다. 예를 들어, 도3의 320에서 노드 d에 대응하는 블록 d는 최초 블록에서 세 번 분할된 블록이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다. 가장 하위 노드에 대응되는 블록은 최소 크기를 갖는 CU에 해당될 수 있고, 최소 크기를 갖는 CU는 SCU(Smallest Coding Unit)으로 불릴 수 있다.

이하, 하나의 CU가 4개의 CU로 분할되는 경우, 분할된 4개의 CU는 분할 전 CU를 기준으로 하위 CU로 불릴 수 있다. 이 때, 상기 4개의 하위 CU는 서로 동일한 크기를 가질 수 있다. 또한, 부호화 대상 CU가 하위 CU에 해당되는 경우, 분할 전 CU는 부호화 대상 CU를 기준으로 상위 CU(Upper Depth Coding Unit)로 불릴 수 있다.

도 4는 CU 결정 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

상술한 바와 같이, 하나의 CU는 4진 트리 구조(quad tree structure)를 기초로 깊이(depth or depth level) 정보를 가지고 계층적으로 분할될 수 있다. 즉, 하나의 CU는, 동일한 크기의 네 개의 하위 CU로 분할될 수 있으며, 분할된 각각의 하위 CU 또한 가능한 분할 크기 범위 내에서 동일한 방식으로 반복적으로 분할될 수 있다.

이 때, 부호화기는 분할된 모든 CU 각각에 대해 예측 및 부호화를 수행할 수 있다. 즉, 부호화기는 각각의 CU(예를 들어, LCU)를 가능한 모든 크기(예를 들어, 8x8 내지 64x64)로 분할하고, 분할 결과 생성된 각각의 하위 CU에 대해 예측 과정을 반복적으로 수행할 수 있다. 부호화기는 상기 예측 및 부호화 결과를 기초로 전체 CU(예를 들어, LCU)에 대한 최적의 분할 형태 및/또는 분할 크기를 결정할 수 있다.

도 4를 참조하면, 부호화기는 부호화 대상 CU 내의 모든 PU에 대해, 스킵(skip) 모드 예측, 인터 예측 및 인트라 예측을 모두 수행할 수 있다(S410). 인터 모드 예측 및/또는 스킵 모드 예측을 수행하는 경우, 부호화기는 부호화 대상 CU를 위해 사용될 수 있는 모든 참조 픽쳐에 대하여 예측을 수행할 수 있다. 예측이 수행되면, 부호화기는 예측 결과를 이용하여 부호화 대상 CU에 대한 부호화를 수행할 수 있다.

부호화기는 예측 및 부호화 수행 결과를 이용하여, 상기 부호화 대상 CU에 대해 부호화를 위한 최적 모드(best mode)를 결정할 수 있다(S420). 이 때, 상기 최적 모드는 RD 코스트(RD cost)를 기반으로 결정될 수 있다.

다시 도 4를 참조하면, 부호화기는 부호화 대상 CU의 깊이 값이 최대 깊이 값보다 작은지 여부를 판단할 수 있다(S430).

부호화 대상 CU의 깊이 값이 최대 깊이 값보다 작은 경우, 부호화기는 부호화 대상 CU를 4개의 하위 CU로 분할할 수 있다(S440). 이 때, 각각의 하위 CU에 대해서는 상술한 S410, S420, S430의 프로세스 및 후술되는 S450의 프로세스가 반복될 수 있다.

부호화 대상 CU의 깊이 값이 최대 깊이 값과 동일한 경우, 부호화기는 화질 대비 가장 좋은 압축률을 제공하는, CU/PU의 크기와 분할 형태, 부호화 모드 및/또는 부호화 방법을 결정할 수 있다(S450). 이를 위해, 부호화기는 상위 CU로 되돌아가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다.

상술한 실시예에서, 부호화기는 압축률 및 화질을 극대화 시키는데 초점을 맞추어, 가능한 모든 경우의 수를 고려하여 최적의 조합을 결정할 수 있다. 그러나, 이 경우 각각의 분할된 CU에 대해 예측 및 부호화를 수행하는 과정에서 많은 수행 시간이 소요되고, 분할 깊이가 증가함에 따라 수행 시간이 기하급수적으로 증가할 수 있다. 따라서, 최소한의 화질 및 압축률 저하를 가지면서 영상 부호화 속도 및 성능을 향상시킬 수 있는 영상 부호화 방법 및 CU 결정 방법이 제공될 수 있다. 특히, 실시간 부호화기의 개발을 위해서는 영상 부호화 속도 개선이 필수적으로 요구된다.

도 5는 본 발명에 따른 CU 결정 방법의 실시예를 개략적으로 나타내는 흐름도이다.

상술한 바와 같이, 하나의 CU는 4진 트리 구조(quad tree structure)를 기초로 깊이(depth or depth level) 정보를 가지고 계층적으로 분할될 수 있다. 즉, 하나의 CU는, 동일한 크기의 네 개의 하위 CU로 분할될 수 있으며, 분할된 각각의 하위 CU 또한 가능한 분할 크기 범위 내에서 동일한 방식으로 반복적으로 분할될 수 있다.

이 때, 상위 CU와 이에 대응되는 하위 CU는 서로 연관성을 가질 수 있다. 즉, 상위 CU에서의 인터 예측 결과가 상기 상위 CU 전체에서는 큰 오차를 가질 수 있지만, 상기 상위 CU 내에서 하나의 하위 CU에 대응되는 일부 영역에서는 작은 오차를 가질 수도 있다. 따라서, 상위 CU 내에서 작은 예측 오차를 갖는 영역의 예측 정보(prediction information)를, 그대로 상기 영역에 대응하는 하위 CU의 인터 예측에 사용하는 CU 결정 방법이 제공될 수 있다. 즉, 하위 CU에 대한 예측이 수행되는 경우, 하위 CU는 상위 CU의 예측 정보를 계승(inheritance)하거나 상속할 수 있다.

여기서, 하위 CU의 인터 예측을 위해 사용되는 상위 CU의 예측 정보에는, 일례로 부호화 파라미터 중에서 인터 예측에 사용되는 정보 등이 포함될 수 있다. 부호화 파라미터는 구문 요소(syntax element)와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 예측 모드 정보 및 움직임 정보(또는 이동 정보) 등을 포함할 수 있다. 예측 모드 정보는 예를 들어, 부호화 모드가 인터 예측 모드인지 인트라 예측 모드인지 여부에 관한 정보, 예측 방향에 관한 정보 및 예측 기법에 관한 정보 등을 포함할 수 있다. 또한 움직임 정보는 예를 들어, 움직임 벡터(또는 이동(변이) 벡터)의 크기 및 부호화 여부에 관한 정보, 참조 픽쳐 인덱스의 값 및 개수에 관한 정보 등을 포함할 수 있다. 이 때, 하위 CU는 일례로 상위 CU의 참조 픽쳐 관련 정보, 움직임 벡터 정보 및 예측 방향 정보 등을 계승하거나 상속할 수 있으며, 부호화기는 상기 계승된 정보를 이용하여 하위 CU에 대한 인터 예측을 수행할 수 있다.

도 5를 참조하면, 부호화기는 상위 CU의 예측 정보를 현재 CU의 예측에 그대로 사용할 수 있는지 여부를 결정할 수 있다(S510). 즉, 부호화기는 상위 CU의 예측 과정에서, 현재 CU가 상위 CU의 예측 정보를 계승하거나 상속하는지 여부를 결정할 수 있다. 여기서, 현재 CU가 계승하는 상위 CU의 예측 정보에는 참조 픽쳐 관련 정보, 움직임 벡터 정보 및 예측 방향 정보 등이 있을 수 있다.

일례로, 부호화기는 상위 CU에 대한 인터 예측을 위해, 인터 탐색(inter search) 연산을 수행할 수 있다. 여기서, 상기 인터 탐색은 인터 예측을 수행하기 위해 필요한 움직임 정보 등을 탐색(search)하는 프로세스를 의미할 수 있다. 상위 CU에 대한 인터 예측 후 부호화기는 상기 상위 CU에 대한 잔차(residual) 값을 도출할 수 있다. 부호화기는 상위 CU에 해당되는 블록과 예측 결과 생성된 예측 블록의 차분에 의해 잔차(residual) 블록을 생성할 수 있으며, 상기 잔차 값은 상기 잔차 블록 내의 샘플값의 합을 의미할 수 있다.

현재 CU는 상위 CU에 대한 4개의 하위 CU 중에서 하나에 해당될 수 있다. 따라서, 부호화기는 상위 CU에서 현재 CU에 대응되는 영역(예를 들어, 상위 CU에서 현재 CU와 동일한 위치에 있는 영역)의 잔차값을 도출할 수 있다. 이하, 상위 CU에서 현재 CU에 대응되는 영역의 잔차값은 부분 잔차값이라 한다. 상기 부분 잔차값은 상위 CU에 대한 잔차 블록 내에서, 현재 CU에 대응되는 영역에 존재하는 샘플값의 합을 의미할 수 있다.

일례로, 상위 CU의 잔차값 및 부분 잔차값은 변환(transform)/양자화(quantization)가 수행되기 전의 잔차 블록을 이용하여 도출될 수 있다. 이 때, 부호화기는 상기 부분 잔차값에 의해, 상위 CU의 예측 정보가 현재 CU의 인터 예측에 그대로 사용되는 경우의 잔차값(현재 CU의 잔차값)을 예측할 수 있다. 즉, 상기 부분 잔차값은, 상위 CU의 예측 정보가 현재 CU의 인터 예측에 그대로 사용되는 경우, 하위 CU의 잔차값에 대한 예측값을 의미할 수도 있다.

다른 예로, 상위 CU의 잔차값 및 부분 잔차값은 변환/양자화가 수행된 후의 잔차 블록을 이용하여 도출될 수도 있다. 이 때, 부호화기는 상기 부분 잔차값에 의해, 상위 CU의 예측 정보가 현재 CU의 인터 예측에 그대로 사용되는 경우의 잔차값(현재 CU의 잔차값)을 예측할 수 있다. 이 때, 상기 현재 CU의 잔차값은, 상위 CU에서와 마찬가지로, 변환/양자화가 수행된 후의 잔차 블록을 이용하여 도출된 잔차값을 의미할 수 있다.

이 때, 부호화기는 상위 CU의 부분 잔차값을 기준으로, 현재 CU가 상위 CU의 예측 정보를 그대로 계승하는지 여부를 결정할 수 있다.

상술한 바와 같이, 상위 CU에서의 인터 예측 결과가 상기 상위 CU 전체에서는 큰 오차를 가질 수 있지만, 상기 상위 CU 내에서 하나의 하위 CU에 대응되는 일부 영역에서는 작은 오차를 가질 수도 있다. 이 때, 작은 예측 오차를 갖거나 예측 오차를 갖지 않는 영역에 대응하는 하위 CU는 상위 CU의 예측 정보를 그대로 계승할 수 있다. 여기서, 상위 CU 내의 하위 CU에 대응하는 영역의 크기는 하위 CU보다 크거나 하위 CU와 동일할 수 있다.

부호화기는 상위 CU에 대해 가장 작은 코스트(cost)를 갖는 잔차 블록을 찾을 수 있고, 상기 잔차 블록은 4개의 하위 CU에 각각 대응하는 4개의 영역(사분면)을 가질 수 있다. 이 때, 상기 각 사분면에 대한 부분 잔차값이 구해질 수 있고, 상기 부분 잔차값은 상위 CU의 예측 정보 이용 여부 결정에 사용될 수 있다. 만일, 부분 잔차값이 0이거나 아주 작은 RD 코스트를 갖는 사분면이 존재한다면, 그 사분면에 대응하는 하위 CU는 상위 CU의 예측 정보를 그대로 계승하거나 상속할 수 있다. 이 때, 후술되는 바와 같이, 부호화기는 현재 CU를 더 이상 분할하지 않고, 현재 CU에 대한 분할 과정을 종료할 수 있다.

일례로, 현재 CU에 대응되는 상위 CU의 부분 잔차값이 소정의 임계값 이하인 경우, 부호화기는 상위 CU의 예측 정보를 그대로 이용하여, 현재 CU에 대한 인터 예측을 수행할 수 있다. 이 경우, 현재 CU는 상위 CU의 예측 정보를 계승하는 것으로 결정될 수 있다. 반대로, 현재 CU에 대응되는 상위 CU의 부분 잔차값이 소정의 임계값을 넘는 경우, 부호화기는 현재 CU에 대한 인터 예측을 수행함에 있어, 상위 CU의 예측 정보를 사용하지 않을 수 있다. 이 경우, 현재 CU는 상위 CU의 예측 정보를 계승하지 않는 것으로 결정될 수 있다.

다시 도 5를 참조하면, 부호화기는 현재 CU에 대한 최적 모드를 결정할 수 있다(S520).

부호화기는 현재 CU에 대한 최적 모드를 결정하기 위해, 현재 CU 내의 모든 PU에 대해, 스킵 모드 예측, 인터 예측 및 인트라 예측을 수행할 수 있다. 예측이 수행되면, 부호화기는 예측 결과를 이용하여 현재 CU에 대한 부호화를 수행할 수 있으며, 예측 및 부호화 결과를 이용하여, 현재 CU에 대한 최적 모드를 결정할 수 있다. 이 때, 상기 최적 모드는 RD 코스트를 기반으로 결정될 수 있다.

한편, 상술한 바와 같이, 부호화기는 상위 CU의 예측 정보를 현재 CU의 예측에 그대로 사용하도록 결정할 수도 있다. 이 때, 부호화기는 현재 CU에 대한 인터 예측을 수행함에 있어, 상위 CU의 예측 정보를 그대로 이용할 수 있다. 여기서, 현재 CU가 계승하는 상위 CU의 예측 정보에는 참조 픽쳐 관련 정보, 움직임 벡터 정보 및 예측 방향 정보 등이 있을 수 있다.

일례로, 부호화기는 상위 CU에서 예측된, 가장 작은 코스트(cost)를 갖는 참조 픽쳐를 이용할 수 있다. 이 때, 부호화기는 현재 CU에 대한 참조 픽쳐를 찾기 위해 모든 참조 픽쳐를 탐색하지 않고, 상위 CU에서 예측 및/또는 결정된 참조 픽쳐를 이용하여 현재 CU에 대한 인터 예측을 수행할 수 있다.

또한, 부호화기는 상위 CU에서 예측된, 가장 작은 코스트를 갖는 움직임 벡터를 이용할 수도 있다. 이 때, 부호화기는 상위 CU에서 예측 및/또는 결정된 움직임 벡터를 이용하여 현재 CU에 대한 인터 예측을 수행할 수 있다.

또한, 부호화기는 상위 CU에서 예측된, 가장 작은 코스트를 갖는 예측 방향 정보를 이용할 수도 있다. 이 때, 부호화기는 상위 CU에서 예측 및/또는 결정된 예측 방향 정보를 이용하여 현재 CU에 대한 인터 예측을 수행할 수 있다.

또한, 부호화기는 현재 CU에 대한 인터 예측을 수행하지 않고 상위 CU의 인터 예측 정보를 그대로 현재 CU에 대한 예측 정보로 사용할 수도 있다. 예를 들어, 부호화기는 상위 CU에 대한 인터 예측을 수행하여 예측 블록을 생성할 수 있다. 이 때, 예측 블록 내에서 현재 CU에 대응하는 영역의 샘플값을 현재 CU에 대한 예측값으로 사용할 수 있다.

현재 CU가 상위 CU의 예측 정보를 계승하는 경우, 즉 상위 CU의 예측 정보가 현재 CU에서 재사용되는 경우에는, 현재 CU에 대한 인터 예측 과정이 단순화되거나 생략될 수 있다. 즉, 상기와 같은 경우에는 현재 CU(하위 CU)에 대한 움직임 탐색 과정 및/또는 인터 예측 과정이 생략될 수 있으므로, 부호화 속도가 향상되고 부호화 수행 시간이 감소될 수 있다.

다시 도 5를 참조하면, 부호화기는 현재 CU에 대한 분할 여부를 결정할 수 있다(S530).

부호화 대상 CU의 깊이 값이 최대 깊이 값보다 작은 경우, 부호화기는 현재 CU를 4개의 하위 CU로 분할할 수 있다. 이 때, 각각의 하위 CU에 대해서는 S510, S520 및 S530에 해당되는 프로세스가 반복하여 수행될 수 있다.

부호화 대상 CU의 깊이 값이 최대 깊이 값과 동일한 경우, 부호화기는 현재 CU를 분할하지 않을 수 있다. 이 때, 부호화기는 화질 대비 가장 좋은 압축률을 제공하는, CU의 크기, CU의 분할 형태, 부호화 모드 및/또는 부호화 방법 등을 결정할 수 있다. 이를 위해, 부호화기는 상위 CU로 되돌아 가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다.

한편, 상술한 바와 같이 부호화기는 현재 CU에 대한 인터 예측을 수행함에 있어, 상위 CU의 예측 정보를 그대로 이용할 수 있다. 현재 CU가 상위 CU의 예측 정보를 계승하거나 상속한 경우, 즉 상위 CU에서 현재 CU에 대응되는 영역의 부분 잔차값이 임계값 이하인 경우, 부호화기는 현재 CU를 더 이상 분할하지 않고, 현재 CU에 대한 분할 과정을 종료할 수 있다. 이 때, 부호화기는 상위 CU로 되돌아 가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다. 상기 RD 코스트 비교 과정에 의해, 부호화기는 화질 대비 가장 좋은 압축률을 제공하는 CU의 크기, CU의 분할 형태, 부호화 모드 및/또는 부호화 방법 등을 결정할 수 있다.

상술한 CU 분할 여부 결정 방법에서는, 현재 CU가 상위 CU의 예측 정보를 계승하거나 상속한 경우, 부호화기가 현재 CU를 더 이상 분할하지 않을 수 있다. 따라서, 부호화기는 CU가 가질 수 있는 모든 분할 크기에 대해 인터 예측을 수행할 필요가 없으므로, 부호화 수행 시간이 감소될 수 있다.

도 6은 본 발명에 따른 CU 결정 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 6을 참조하면, 부호화기는 상위 CU에 대해 인터 예측을 수행할 수 있다(S610). 이 때, 부호화기는 상위 CU에 대한 인터 예측을 위해, 인터 탐색(inter search) 연산을 수행할 수 있다. 여기서, 상기 인터 탐색은 인터 예측을 수행하기 위해 필요한 움직임 정보 등을 탐색(search)하는 프로세스를 의미할 수 있다.

다시 도 6을 참조하면, 인터 예측 후, 부호화기는 상위 CU 내의 4개의 영역(사분면, Q0, Q1, Q2 및 Q3) 각각에 대해 부분 잔차값을 도출할 수 있다(S620). 이 때, 상기 4개의 사분면은 각각 하나의 하위 CU에 대응되는 영역에 해당될 수 있다. 또한, 상기 부분 잔차값은 상위 CU에 대한 잔차 블록 내에서, 하위 CU에 대응되는 영역에 존재하는 샘플값의 합을 의미할 수 있다. 부호화기는 상위 CU에 해당되는 블록과 예측 결과 생성된 예측 블록(예를 들어, 참조 블록)의 차분에 의해 잔차(residual) 블록을 생성할 수 있다. 상기 부분 잔차값은 상위 CU에 대한 잔차 블록 내에서, 현재 CU에 대응되는 영역에 존재하는 샘플값의 합을 의미할 수 있다.

각각의 사분면에 대한 부분 잔차값이 도출되면, 부호화기는 각 사분면(Q0, Q1, Q2 및 Q3)에 대한 잔차값이 소정의 임계값보다 작은지 여부를 판단할 수 있다(S630). 도 6의 실시예에서는, 설명의 편의를 위해, Q1, Q2, Q3에 대한 프로세스가 생략되고 Q0에 대한 프로세스만이 도시된다.

Q0의 부분 잔차값이 소정의 임계값보다 작은 경우, 부호화기는 상위 CU의 예측 정보를 그대로 이용하여, Q0 사분면에 대응되는 하위 CU의 최적 모드를 결정할 수 있다(S640). 즉, 하위 CU에 대응되는 사분면(Q0, Q1, Q2 또는 Q3)의 잔차값이 0이거나 0에 가까운 값을 갖는 경우, 부호화기는 해당 하위 CU의 인터 탐색(inter search) 과정 및/또는 인터 예측 과정을 생략할 수 있다. 여기서, 상기 예측 정보에는 참조 픽쳐 관련 정보, 움직임 벡터 정보, 예측 방향 정보 및 인터 모드 예측값 정보 등이 있을 수 있다.

상술한 바와 같이, 부호화기는 상위 CU의 예측 정보를 그대로 이용하여, 하위 CU에 대한 인터 모드 예측값을 도출할 수 있다. 또한, 부호화기는 상기 하위 CU에 대해 스킵 모드 예측 및 인트라 예측을 수행하여 각각의 경우에 대한 예측값을 도출할 수 있다. 예측이 수행되면, 부호화기는 예측 결과를 이용하여 현재 CU에 대한 부호화를 수행할 수 있으며, 예측 및 부호화 결과를 이용하여, 현재 CU에 대한 최적 모드를 결정할 수 있다. 또한, 하위 CU가 상위 CU의 예측 정보를 계승하거나 상속한 경우, 즉 상위 CU에서 상기 하위 CU에 대응되는 영역의 부분 잔차값이 임계값보다 작은 경우, 부호화기는 상기 하위 CU에 대한 분할 과정을 종료할 수 있다.

이 때, 부호화기는 상위 CU로 되돌아 가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다. 상기 RD 코스트 비교 과정에 의해, 부호화기는 화질 대비 가장 좋은 압축률을 제공하는 CU의 크기, CU의 분할 형태, 부호화 모드 및/또는 부호화 방법 등을 결정할 수 있다.

Q0의 부분 잔차값이 소정의 임계값 이상인 경우, 부호화기는 Q0 사분면에 대응되는 하위 CU에 대해, 상술한 S610 내지 S640의 프로세스를 반복하여 수행할 수 있다.

도 7은 본 발명에 따른 CU 결정 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 7을 참조하면, 부호화기는 상위 CU의 예측 정보를 부호화 대상 CU의 예측에 그대로 사용할 수 있는지 여부를 결정할 수 있다(S710). 즉, 부호화기는 상위 CU의 예측 과정에서, 부호화 대상 CU가 상위 CU의 예측 정보를 계승하거나 상속하는지 여부를 결정할 수 있다. 여기서, 부호화 대상 CU가 계승하는 상위 CU의 예측 정보에는 참조 픽쳐 관련 정보, 움직임 벡터 정보 및 예측 방향 정보 등이 있을 수 있다. 상위 CU의 예측 정보 이용 여부 판단 방법의 구체적인 실시예는 상술한 바 있으므로, 생략하기로 한다.

부호화 대상 CU가 상위 CU의 예측 정보를 계승하지 않는 경우, 부호화기는 부호화 대상 CU 내의 모든 PU에 대해, 스킵(skip) 모드 예측, 인터 예측 및 인트라 예측을 모두 수행할 수 있다(S720). 예측이 수행되면, 부호화기는 예측 결과를 이용하여 부호화 대상 CU에 대한 부호화를 수행할 수 있다.

부호화기는 예측 및 부호화 수행 결과를 이용하여, 상기 부호화 대상 CU에 대해 부호화를 위한 최적 모드(best mode)를 결정할 수 있다(S730). 이 때, 상기 최적 모드는 RD 코스트(RD cost)를 기반으로 결정될 수 있다.

다시 도 7을 참조하면, 부호화기는 부호화 대상 CU의 깊이 값이 최대 깊이 값보다 작은지 여부를 판단할 수 있다(S740).

부호화 대상 CU의 깊이 값이 최대 깊이 값보다 작은 경우, 부호화기는 부호화 대상 CU를 4개의 하위 CU로 분할할 수 있다(S750). 이 때, 각각의 하위 CU에 대해서는 상술한 S710, S720, S730, S740, S750의 프로세스 및 후술되는 S760, S770의 프로세스가 반복될 수 있다.

부호화 대상 CU의 깊이 값이 최대 깊이 값과 동일한 경우, 부호화기는 화질 대비 가장 좋은 압축률을 제공하는, CU/PU의 크기와 분할 형태, 부호화 모드 및/또는 부호화 방법을 결정할 수 있다(S770). 이를 위해, 부호화기는 상위 CU로 되돌아가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다.

부호화 대상 CU가 상위 CU의 예측 정보를 계승하는 경우, 부호화기는 부호화 대상 CU에 대한 인터 예측을 수행함에 있어, 상위 CU의 예측 정보를 그대로 이용할 수 있다(S760). 여기서, 부호화 대상 CU가 계승하는 상위 CU의 예측 정보에는 참조 픽쳐 관련 정보, 움직임 벡터 정보, 예측 방향 정보 및 상위 CU에서의 인터 모드 예측값 정보 등이 있을 수 있다.

따라서, 이 때 부호화기는 상위 CU의 예측 정보를 그대로 이용하여, 부호화 대상 CU에 대한 인터 모드 예측값을 도출할 수 있다. 또한, 부호화기는 부호화 대상 CU에 대해 스킵 모드 예측 및 인트라 예측을 수행하여 각각의 경우에 대한 예측값을 도출할 수 있다. 예측이 수행되면, 부호화기는 예측 결과를 이용하여 부호화 대상 CU에 대한 부호화를 수행할 수 있으며, 예측 및 부호화 결과를 이용하여, 부호화 대상 CU에 대한 최적 모드를 결정할 수 있다.

이 때, 부호화기는 부호화 대상 CU에 대한 분할 과정을 종료하고, 최적의 CU 크기와 분할 형태, 부호화 모드 및/또는 부호화 방법 등을 결정할 수 있다(S770). 이를 위해, 부호화기는 상위 CU로 되돌아가면서, 상위 CU와 이에 대응되는 4개의 하위 CU 간의 RD 코스트를 비교하는 과정을 반복하여 수행할 수 있다.

본 발명에 따르면, 부호화기는 현재 CU에 대한 예측을 수행함에 있어, 상위 CU의 예측 정보를 이용할 수 있다. 또한, 본 발명은 하위 CU가 상위 CU의 예측 정보를 계승할 수 있는 조건 및 예측 정보 계승 방법을 제공함으로써, 왜곡을 최소화하고 부호화 속도를 향상시킬 수 있다. 따라서, 본 발명은 화질 및 압축률 손실을 최소화하면서 부호화 속도를 향상시킬 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (1)

1. 상위 CU(Coding Unit)에 대한 인터 예측 결과에 기반하여, 현재 CU의 인터 예측에 상기 상위 CU의 예측 정보(prediction information)를 사용할 지 여부를 판단하는 단계;
   상기 판단 결과에 기반하여, 상기 현재 CU에 대한 인터 예측을 수행하는 단계;
   상기 현재 CU에 대한 인터 예측 결과에 기반하여, 상기 현재 CU에 대한 부호화 모드를 결정하는 단계;
   상기 결정된 부호화 모드를 이용하여, 상기 현재 CU가 속한 LCU(Largest Coding Unit)의 분할 형태 및 크기를 결정하는 단계; 및
   상기 결정된 LCU의 분할 형태 및 크기에 기반하여 입력 영상에 대한 부호화를 수행하는 단계를 포함하되,
   상기 현재 CU는 상기 상위 CU가 동일한 크기의 4개의 하위 CU로 분할되는 경우, 상기 4개의 하위 CU 중 하나에 해당되는 CU이고,
   상기 예측 정보는 참조 픽쳐(reference picture) 관련 정보, 움직임 벡터(motion vector) 정보, 예측 방향(prediction direction) 정보 및 인터 모드 예측값 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.

Images