KR20140078778A

KR20140078778A - 영상 부호화 방법 및 장치

Info

Publication number: KR20140078778A
Application number: KR1020120146736A
Authority: KR
Inventors: 간저릭; 최윤식
Original assignee: 연세대학교 산학협력단
Priority date: 2012-11-27
Filing date: 2012-12-14
Publication date: 2014-06-26
Also published as: KR101906831B1

Abstract

본 발명은 영상 부호화 방법에 관한 것으로, 보다 상세하게는 현재 코딩유닛의 인트라모드 예측 방향정보를 취득하는 단계; 및 상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 타입을 결정하는 단계;를 포함하여, 코딩과정에서의 복잡도를 감소시킴으로써 고속으로 영상을 부호화할 수 있는 영상 부호화 방법을 제공한다.

Description

영상 부호화 방법 및 장치{Method and Apparatus for image encoding}

본 발명은 영상 부호화 방법 및 장치에 관한 것이다.

H.264/AVC 는 고성능의 압축 효율을 갖는 비디오 압축 표준 기술이다. H.264/AVC 에서는 영상 내의 상관성을 제거하기 위한 화면 내 예측 기술, 영상 간의 상관성을 제거하기 위한 화면 간 예측 기술을 통하여 원본 신호를 예측 부호화할 수 있다. H.264/AVC의 부호화기는 원본 신호와 예측 신호의 차이 값인 차분 값에 대하여 이산 여현 변환 부호화와 양자화를 수행한다. 그리고 양자화된 신호는 지그재그 스캐닝 방법으로 정렬된 후 엔트로피부호화된다.

최근에 ITU-T VCEG(Video Coding Experts Group)와 ISO/IEC MPEG(Moving Picture Experts Group)은 JCT-VC(Joint Collaborative Team on Video Coding)을 구성하여 새로운 영상 압축 표준인 HEVC(High Efficiency Video Coding)의 표준화를 진행 중이며, 이는 기존에 제정된 표준인 H.264/AVC에 비교하여 현재 약 40% 이상의 압축 효율의 향상이 달성되어 있는 것으로 알려져 있다. H.264/AVC와 HEVC는 기본적으로 블록 기반의 영상 부호화기이라는 점은 동일하지만 16x16의 고정된 크기인 MB(Macro Block) 단위의 부호화를 수행하는 H.264/AVC와는 다르게 HEVC는 Common test condition 내에서 최대 64x64 크기로부터 8x8 크기까지의 다양한 크기를 갖는 CU(Coding Unit)의 기반에 따른 부호화를 수행한다.

HEVC에 사용되는 기술 중, SAO(Sample Adaptive Offset)의 EO(Edge Offset) 방법은 각 방향별로 율-왜곡값 계산을 수행하고, 계산된 율-왜곡값 중 가장 작은 값에 대응하는 방향을 최적의 EO(Edge Offset) 방법의 방향으로 결정한다. 이러한 EO 방법의 방향 결정 과정은 많은 연산 시간을 소비하므로, EO 방법의 방향 결정 과정을 단축하여 SAO 방법의 전체 복잡도를 줄이는 연구가 필요하다.

이는 실시간 부호화 및 스트리밍 서비스 등의 제공에 있어 제약이 되기 때문에 이를 해결하기 위한 방법이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 부호화시에 연산을 간단하게 하고, 부호화시간을 단축시키도록 하는 영상 부호화 방법 및 장치을 제공하는 데 그 목적이 있다.

또한, 인코더의 성능을 향상시킴으로써 고속의 인코딩을 통하여 실시간으로 고화질의 화상정보를 제공하도록 하는 영상 부호화 방법 및 장치를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명의 일관점은, 영상 부호화 방법에 있어서, 현재 코딩유닛의 인트라모드 예측 방향정보를 취득하는 단계; 및 상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 타입을 결정하는 단계;를 포함하는, 영상 부호화 방법을 제공한다.

여기서, 상기 적응적 샘플 오프셋의 타입은, EO(Edge Offset)의 타입일 수 있다.

또한, 상기 EO의 타입은, 상기 인트라모드 예측 방향정보와 상기 EO의 타입을 매핑시키는 매핑테이블에 의해 결정되는 것이 바람직하다.

여기서, 상기 매핑테이블은, 상기 EO 타입의 각도와, 상기 인트라모드 예측 방향정보의 소정 범위로 나눈 영역을 매핑시킬 수 있다.

또한, 상기 EO의 타입은, 0-degree, 90-degree, 135-degree, 45-degree의 4가지로 구성될 수 있다.

여기서, 상기 EO의 타입은, 상기 인트라모드 예측 방향정보와 매핑되는 1가지로 결정되는 것이 바람직하다.

한편, 상기 영상 부호화 방법은, 상기 현재 코딩유닛이 인트라모드 예측부호화되었는지 체크하는 단계를 더 포함할 수도 있다.

여기서, 현재 코딩유닛이 인트라모드 예측부호화되었을 경우, 율-왜곡값 계산시 1가지 EO타입에 대해서 계산을 수행하고, 현재 코딩유닛이 인터모드 예측부호화되었을 경우, 율-왜곡값 계산시 4가지 EO타입 각각에 대해서 계산을 수행하도록 구성할 수 있다.

본 발명에 의하면 미리 결정된 인트라 예측의 방향을 이용하여 EO방법의 방향을 보다 간단하게 결정할 수 있도록 함으로써, SAO 방법의 성능을 향상시키고 인코더의 복잡도를 감소시키는 효과가 있다.

또한, 본 발명에 의하면 고속의 실시간 영상 부호화가 가능하여 실시간영상, 고화질영상을 보다 효율적으로 제공할 수 있게 된다.

도 1은 영상 부호화 장치 구조의 일 예를 개략적으로 도시한 것이다.
도 2는 영상 복호화 장치 구조의 일 예를 개략적으로 도시한 것이다.
도 3은 데이터를 처리할 때 CU 단위로 분할되는 것을 개략적으로 설명하는 도면이다.
도 4는 일반적인 HEVC 영상 부호화방법에 포함된 SAO를 도시한 순서도이다.
도 5는 본 발명의 일실시예에 따른 영상 부호화방법에 포함된 SAO을 도시한 순서도이다.
도 6은 EO(Edge Offset)의 픽셀 패턴을 도시한 것이다.
도 7은 인트라 예측의 방향을 도시한 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 영상 부호화 장치 구조의 일 예를 개략적으로 도시한 것이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160),역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.

화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있다.)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력한다.

HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.

도 2는 영상 복호화 장치 구조의 일 예를 개략적으로 도시한 것이다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.

엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.

화면 내 예측 모드인 경우, 인트라 예측부(240)(또는 화면 간 예측부)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다.

본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.

본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit, 이하 'CU'라 함)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 이하, 본 발명의 실시예에서 설명하는 영상 부호화 방법은, 도 1 및 도 2에서 전술한 각 모듈의 기능에서 맞게 구현될 수 있고 이러한 부호화기 및 복호화기는 본 발명의 권리범위에 포함된다. 즉, 본 발명의 실시예에서 후술할 영상 부호화/복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

상술한 도 1, 도 2의 실시예에 따른 영상 부호화/복호화에서는, 영상의 효율적인 부호화를 위해, 단일 크기의 매크로블록이 다양한 크기로 확장된 CU 구조가 정의될 수 있다. CU는 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 또한 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다. SCU를 제외한 모든 CU는 split_flag 정보를 할당하여 그 값에 따라 해당 CU가 분할된 영역인지 아닌지를 지시하게 된다. 부호화기는 다양한 비디오 신호 특성에 따라, 부호화 과정에서 LCU의 크기를 조절할 수도 있다. CU는 인트라 또는 인터 예측에 사용되도록 PU(Prediction Unit)으로 분할될 수 있으며, 변환 및 양자화를 위해 TU(Transform Unit)으로 분할될 수 있다.

도 3은 CU를 설명하는 도면으로서, 데이터를 처리할 때 CU 단위로 분할을 수행하는 것을 개략적으로 설명하고 있다.

도 3을 참조하면, 영상을 미리 정의된 기본적인 CU 단위로 분할한 후, CU를 분할하면서 부호화가 수행된다. LCU를 시작으로, 필요할 경우 블록의 크기가 가로 세로 절반씩 감소한 4개의 CU로 분할될 수 있다. CU를 분할하는 것은 부호화 측에서 영상의 특성에 따라 결정하는데, 복잡한 영상의 경우에는 더 작은 CU로 분할될 수 있고, 복잡하지 않은 영상에서는 작은 CU로 분할되지 않을 수 있다. 따라서, CU의 분할 여부는 압축 효율과 화질 측면에서의 효율에 따라서 결정된다고 할 수 있다.

CU를 분할할지에 대한 정보는 분할 정보(Split flag)를 통해 표현한다. 이 분할 정보는 더 이상 분할할 수 없는 가장 작은 단위의 CU를 제외한 모든 CU에 포함되어 있으며 분할 정보의 값(split_flag)이 ‘0’일 경우에는 해당 CU를 분할하지 않고, 분할 정보의 값(split_flag)이 ‘1’일 경우에는 해당 CU를 가로 세로 각각 이등분한 4개의 작은 CU로 계층적인 분할을 수행한다.

CU는 한 번 분할될 때마다 깊이(Depth)가 1씩 증가하게 된다. 사이즈가 같은 CU들의 깊이는 동일할 수 있다. CU의 최대 깊이는 미리 정의될 수 있는데, 미리 정의된 최대 깊이 이상으로 CU를 분할할 수 없다. 따라서, CU의 분할은 깊이가 0인 LCU부터 CU가 분할되면서 깊이가 1씩 증가하여 최대 깊이가 될 때까지 분할할 수 있다.

도 3을 참조하면, 깊이 0인 CU(LCU)에 대하여, 분할 정보값이 0인 경우에는 더 이상 분할되지 분할되지 않고, 분할 정보값이 1인 경우에는 네 개의 더 작은 CU로 분할될 수 있다. 이때, 분할된 작은 CU들에 인덱스(0, 1, 2, 3)을 부여하여 구분할 수도 있다.

분할이 되면, 깊이는 증가한다. 도 3의 예는 최대 깊이가 4로 설정된 경우로서, 도시된 바와 같이, 최대 깊이인 4까지 분할되면, 더 이상 분할되지 않는다.

도 3의 우측 그림은 LCU가 2Nx2N 픽셀 (N=64)이고, 최대 깊이가 4인 경우에, CU가 분할되는 것을 깊이에 따라서 개략적으로 설명하는 도면이다. 여기서는 설명의 편의를 위해 LCU가 128x128인 경우를 예로서 설명하였으나, 본 발명은 이에 한정되지 않으며, LCU는 다른 크기로 정의될 수 있다.

한편, 상술한 도 1, 도 2의 실시예에 따른 영상 부호화/복호화에서는, 영상의 효율적인 부호화를 위해, 영상 부호화 장치 및 복호화 장치가 각각 필터부(180, 260)를 포함한다.

필터부(180, 260)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180, 260)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180, 260)를 거친 복원 블록은 참조 영상 버퍼(190, 270)에 저장되어 화면 간 예측에 사용될 수 있다.

여기서, SAO의 개념은, 복원픽셀들(reconstructed pixels)을 각각 다른 카테고리로 분류한 다음, 각 카테고리별로 오프셋을 더해서 왜곡(distortion)을 줄이는 방법이다. 픽셀강도(pixel intensity)와 에지특성(edge properties)이 카테고리 분류에 사용된다.

도 4는 일반적인 HEVC 영상 부호화방법에 포함된 SAO를 도시한 순서도이다.

부호화된 영상이 블록 간의 경계에 생긴 블록 왜곡을 제거하는 DF(deblocking filter)를 통과하고 나면 SAO를 수행하게 된다.

먼저, 전체 영상을 쿼드 트리 구조(Quad Tree Structure)를 갖도록 퀴드 트리의 깊이(레벨) L을 전체 영상 사이즈에 따라 결정한다(S110).

그리고, 영상을 가장 작은 쿼드 트리 구조인 레벨 L까지 계층적으로 분할한다(S120).

이후, 가장 작은 L 레벨로 각각 분할된 영역에 대해 SAO parameter들을 변경하면서 율-왜곡(Rate-Distortion)값을 계산한다(S130).

계산된 율-왜곡값을 근거로 각 L 레벨영역의 SAO 타입을 결정한다. 즉, 가장 작은 율-왜곡값을 가진 SAO 타입으로 결정하게 된다(S140).

다음으로, 각 자식영역인 L 레벨영역의 통계데이터들을 부모영역인 L-1에서 수집하고(S150), 율-왜곡값에 따라 L 레벨영역과 L-1영역을 융합시킬지를 결정한다(S160).

이후, L값을 L-1값으로 설정하고(S180), L의 값에 따라 SAO를 종료할지 율-왜곡계산단계(S130)으로 돌아갈지를 결정한다(S190). L이 0보다 큰 경우에는 율-왜곡계산단계(S130)으로 돌아가 재귀적 과정을 수행하지만, L이 0보다 작거나 같은 경우에는 SAO를 종료한다.

도 5는 본 발명의 일실시예에 따른 영상 부호화방법에 포함된 SAO을 도시한 순서도이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 영상 부호화 방법은, 현재 픽셀의 CU가 인트라 예측인지를 결정하는 단계를 포함한다. 이는 도 4의 율-왜곡계산단계(S130)의 과정중에 포함되는 것으로 종래 사용되던 수식인 수식I과, 새로 제안된 수식인 수식 II를 인트라 예측인지가 결정되면 선택적으로 사용할 수 있도록 구성된다.

즉, 본 발명의 일실시예에 따른 영상 부호화 방법은, 율-왜곡계산전에 L 레벨영역에 존재하는 현재 계산하고자 하는 픽셀의 CU가 인트라 예측인지, 인터 예측인지를 먼저 결정하고(S210), 그 결과에 따라 기존 RD 수식은 수식I을 사용하거나(S230), 아니면 새로 제안된 수식II(Intra prediction direction 기반 수식)으로 계산한다(S220).

L 레벨영역의 RD 값을 계산할 때 현재 계산하고자하는 픽셀이 인터 예측(Inter prediction) CU에 속할경우에는 다음의 수학식 1과 수학식 2를 이용(수학식 1과 수학식 2를 수식I이라 칭함)하여 계산한다(S230).

수학식 1은 RD 값을 계산하기 위하여 Distortion 함수를 계산하는 수식이다.

는 l-레벨, i-영역, t-타입과 c-카테고리에 있는 픽셀값들이다(카테고리와 타입은 표1, 표2 참조).

는 해당 오프셋값,

는 복원 신호와 원본 신호의 차이의 합이다. 표1과 표2를 참조하면 SAO타입은 총 7개이고, t는 0~6의 값을 가질 수 있다.

수학식 2는 RD값을 계산하는 수식이다.

는 해당 오프셋의 estimated rate,

는 라그랑 배율이다.

Category	Condition
1	C<2 neighboring pixels
2	C<1 neighbor && c==1 neighbor
3	c>1 neighbor && c==1 neighbor
4	c>2 neighbors
0	None of the above

(EO 카테고리)

Sao_type_idx	SAO type to be used	Category
0	None	0
1	1-D 0-degree pattern edge offset(EO)	4
2	1-D 90-degree pattern edge offset(EO)	4
3	1-D 135-degree pattern edge offset(EO)	4
4	1-D 45-degree pattern edge offset(EO)	4
5	Central bands band offset(BO)	16
6	Side bands band offset(BO)	16

(SAO 타입과 그에 대한 카테고리 개수)

앞서 언급된 바와 같이, SAO는 픽셀강도(pixel intensity)와 에지특성(edge properties)을 사용하여 카테고리를 분류한다.

BO(Band Offset)은 한 영역(region)의 모든 픽셀들을 복수개의 밴드(band)로 구분하는데, 각 밴드는 동일한 강도 주기(intensity interval)를 갖는다.

EO(Edge Offset)은 도 6에 도시된 바와 같이, 4개의 1-D 3-픽셀 패턴을 사용하여 0-degree, 90-degree, 135-degree, 45-degree로 픽셀분류를 하는데, 에지 방향정보(edge directional information)을 고려한다.

도 6을 참조하면, 픽쳐의 각 영역(region)은 각 픽셀을 인접한(neighboring) 두개의 픽셀들과 비교함으로써 픽셀들을 여러 카테고리로 분류하는 하나의 패턴을 선택할 수 있게 된다.

한편, K 레벨영역의 RD 값을 계산할 때 현재 계산하고자하는 픽셀이 인트라 예측(Intra prediction) CU에 속할경우에는 다음과 같이 계산한다(S220).

SAO에서 EO(edge offset)을 결정할 때 0-degree, 90-degree, 135-degree, 45-degree의 분류를 현재 픽셀의 속하는 인트라 예측의 방향을 따라 결정한다. 도 7은 인트라 예측의 35개 방향을 나타내고 있다.

표 3는 EO의 4가지 에지 type을 인트라 예측의 방향에 맞춘 표이다. 이 매핑 테이블에 의해 인트라 예측 방향을 알게 되면 SAO EO type이 정해지게 되어 기존 RD값 계산 수식에 비해 보다 간단히 RD를 계산할 수 있게 된다.

Sao_type_idx	SAO EO type	Intra prediction direction
1	0-Degree pattern offset	HOR+4, HOR+3, HOR+2, HOR+1, HOR, HOR-1, HOR-2, HOR-3, HOR-4
2	90-Degree pattern offset	VER-4, VER-3, VER-2, VER-1, VER, VER+1, VER+2, VER+3, VER+4
3	135-Degree pattern offset	HOR-5, HOR-6, HOR-7, HOR-8, VER-8, VER-7, VER-6, VER-5
4	45-Degree pattern offset	HOR+5, HOR+6, HOR+7, HOR+8, VER+5, VER+6, VER+7, VER+8

(SAO EO 타입 결정)

L레벨의 RD 값을 계산할 때 표 3과 같이 Intra prediction의 방향으로 SAO 의 EO 타입을 선택하여 수학식 3(간략화된 Distortion함수),수식4(간략화된 RD값 계산수식)과 같이 간략화된 수식(수학식 3과 수학식 4를 수식II로 칭함)으로 계산할 수 있게 된다(S220).

수식I의 경우, 현재 레벨, 위치의 SAO 블록마다, 6가지의 SAO 타입(Sao_type-idx 0~6)의 각 RD값을 계산하여, 가장 작은 RD값을 갖는 타입을 현재 블록의 SAO 타입으로 결정한다.

수식II의 경우, 현재 블록에 대한 인트라모드 예측 방향정보(35개 종류 중 하나)가 있을 경우, 그 방향정보가 속한 구간에 따라 SAO 타입을 결정할 수 있다. 즉, 표 3과 같은 인트라모드 예측 방향정보를 일정 범위로 나누어 1,2,3,4의 4구간으로 나누고 그 구간에 해당되는 SAO EO 타입을 매핑시킨 매핑테이블이 제공될 수 있는데, 이를 근거로 인트라모드예측 방향정보에 따라 SAO 타입을 결정할 수 있게 된다. 이 경우 RD계산시, 4가지의 SAO타입(1,2,3,4)를 모두 시도해보는 것이 아니라, 인트라모드 예측 방향 정보에 따라, SAO EO타입을 1~4개 중에 하나로 추정하여 1개에 따른 RD값을 계산(RD_에지옵셋)하고,RD_에지옵셋, RD0, RD5, RD6 네개 중 가장 작은 RD값을 선택하고, 그 타입을 현재 블록의 SAO 타입으로 결정한다. 수식 I의 t가 0~6의 6가지 값을 가질 수 있었지만, 수식 II에서 t'는 1~4중 하나의 값과, 0, 5, 6의 총 4가지 값을 가질 수 있다.

예를 들어, 현재 블록의 인트라모드 예측 방향이 HOR+4인 경우, 표 3에 따라 SAO EO 타입이 1로 결정되어 나머지 EO 타입인 2,3,4에 대해서는 RD값을 계산하지 않는다. 이후, RD1, RD0, RD5,RD6 중 가장 작은 것에 따른 SAO 타입을 결정한다. ㅇ이와 같이, 본 발명은 EO의 RD값을 4가지 타입별로 모두 계산하지 않고, 그중에서 1개만 계산을 함으로써, 계산량을 줄일 수 있게 된다.

이와 같이, 본 발명의 영상 부호화 방법은, 현재 코딩유닛의 인트라모드 예측 방향정보를 취득하게 되면, 취득한 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 EO 타입을 결정할 수 있게 된다.

100: 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120: 인트라 예측부
125: 감산기 130: 변환부
140: 양자화부 150: 엔트로피 부호화부

Claims

영상 부호화 방법에 있어서,
현재 코딩유닛의 인트라모드 예측 방향정보를 취득하는 단계; 및
상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 타입을 결정하는 단계;를 포함하는 것을 특징으로 하는 영상 부호화 방법.
청구항 1에 있어서, 상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋을 결정하는 것은,
상기 인트라모드 예측 방향정보를 이용하여 EO(Edge Offset) 타입들 중 적어도 일부의 EO 타입에 따른 율-왜곡값을 계산하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
청구항 2에 있어서, 상기 적어도 일부의 EO 타입은,
전체 EO 타입들 중 상기 인트라모드 예측 방향정보를 고려하여 선택된 하나의 EO 타입인 것을 특징으로 하는 영상 부호화 방법.
청구항 3에 있어서, 상기 인트라모드 예측 방향정보를 고려하여 하나의 EO 타입을 결정하는 것은,
상기 EO 타입 각각의 방향을 고려하여 미리 정의된 방향 구간들 중, 상기 인트라모드 예측 방향정보에 포함된 방향값이 속하는 방향 구간에 따른 EO 타입을 결정하는 것을 특징으로 하는 영상 부호화 방법.
청구항 2에 있어서,
상기 EO의 타입들은, 0-degree, 90-degree, 135-degree, 45-degree의 4가지 EO 타입들을 포함하는 것을 특징으로 하는 영상 부호화 방법.
청구항 5에 있어서, 상기 EO 타입은 상기 인트라모드 예측 방향정보를 상기 EO 타입에 매칭시킨 매칭테이블을 고려하여 결정되는 것을 특징으로 하는 영상 부호화 방법.
청구항 1에 있어서, 상기 적응적 샘플 오프셋의 타입을 결정하는 단계는
상기 현재 코딩유닛이 인트라모드 예측부호화되었는지 확인하는 단계;
상기 현재 코딩유닛이 인트라모드 예측부호화된 경우 상기 현재 코딩유닛에 따른 인트라모드 예측 방향정보에 따라 결정된 EO 타입의 율-왜곡값과, 적응적 샘플 오프셋이 없을 경우의 율-왜곡값, BO(Band Offsets) 타입 각각에 따른 율-왜곡값을 계산하는 단계; 및
상기 계산된 율-왜곡값들 중, 가장 작은 율-왜곡값을 갖는 타입을 상기 현재 코딩 유닛의 적응적 샘플 오프셋의 타입으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
청구항 6에 있어서,
상기 매핑테이블은, 상기 EO 타입의 각도와 상기 인트라모드 예측 방향정보의 소정 범위로 나눈 영역을 매핑시킨 테이블인 것을 특징으로 하는 영상 부호화 방법.
프로세서(processor); 및
상기 프로세서와 연결되며 상기 프로세서를 구동하기 위한 정보를 저장하는 메모리를 포함하되,
상기 프로세서는, 현재 코딩유닛의 인트라모드 예측 방향정보를 취득하고, 상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 타입을 결정하는 것을 특징으로 하는 영상 부호화 장치.
청구항 9에 있어서, 상기 프로세서가 상기 인트라모드 예측 방향정보를 이용하여 적응적 샘플 오프셋의 타입을 결정하는 것은,
상기 인트라모드 예측 방향정보를 이용하여 EO(Edge Offset) 타입들 중 적어도 일부의 EO 타입에 따른 율-왜곡값을 계산하는 것을 특징으로 하는 영상 부호화 장치.
청구항 10에 있어서, 상기 적어도 일부의 EO 타입은,
전체 EO 타입들 중 상기 인트라모드 예측 방향정보를 고려하여 선택된 하나의 EO 타입인 것을 특징으로 하는 영상 부호화 장치.
청구항 10에 있어서,
상기 EO 타입들은, 0-degree, 90-degree, 135-degree, 45-degree의 4가지 EO 타입들을 포함하는 것을 특징으로 하는 영상 부호화 장치.
청구항 12에 있어서, 상기 EO의 타입은,
상기 인트라모드 예측 방향정보를 상기 EO 타입에 매칭시킨 매칭테이블을 고려하여 결정되는 것을 특징으로 하는 영상 부호화 장치.
청구항 9에 있어서, 상기 프로세서는
상기 현재 코딩유닛이 인트라모드 예측부호화되었는지 확인하고, 상기 현재 코딩유닛이 인트라모드 예측부호화된 경우 상기 현재 코딩유닛에 따른 인트라모드 예측 방향정보에 따라 결정된 EO 타입의 율-왜곡값과, 적응적 샘플 오프셋이 없을 경우의 율-왜곡값, BO(Band Offsets) 타입 각각에 따른 율-왜곡값을 계산하며, 상기 계산된 율-왜곡값들 중 가장 작은 율-왜곡값을 갖는 타입을 상기 현재 코딩 유닛의 적응적 샘플 오프셋의 타입으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
청구항 13에 있어서, 상기 매칭테이블은
상기 EO 타입의 각도와 상기 인트라모드 예측 방향정보의 소정 범위로 나눈 영역을 매핑시킨 테이블인 것을 특징으로 하는 영상 부호화 장치.