KR102007377B1

KR102007377B1 - 고성능 hevc 부호기를 위한 움직임 추정 시스템 및 방법

Info

Publication number: KR102007377B1
Application number: KR1020170145514A
Authority: KR
Inventors: 류광기; 전성훈
Original assignee: 한밭대학교 산학협력단
Priority date: 2017-11-02
Filing date: 2017-11-02
Publication date: 2019-08-05
Also published as: KR20190050207A

Abstract

본 발명은 고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법에 관한 것으로서, 4×4 단위로 계산된 SAD(Sum of Absolute Difference) 연산 결과를 재사용하여 전체 PU(예측 단위, Prediction Unit) 블록에 대한 SAD 결과를 계산함으로써 하드웨어 면적 및 연산 시간을 효과적으로 감소시킬 수 있다.

Description

고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법{SYSTEM AND METHOD FOR MOTION ESTIMATION FOR HIGH-PERFORMANCE HEVC ENCODER}

본 발명은 HEVC 부호기를 위한 움직임 추정 시스템 및 방법에 관한 것으로, 더욱 상세하게는 기존 전역 탐색 알고리즘에서 발생하는 SAD 연산 복잡도와 반복을 줄이기 위해 4×4 단위로 계산된 SAD 연산 결과를 모든 블록에 재사용하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법에 관한 것이다.

최근 UHD(초고선명, Ultra High Definition)급의 초고해상도 영상을 지원하는 다양한 영상 기기의 발전으로 인해 사용자의 고해상도 영상에 대한 관심과 수요가 증가하였다. 이러한 이유로 UHD급 영상과 같은 고해상도 영상을 지원하기 위해 새로운 비디오 압축 기술 표준의 개발이 필요하게 되었다. 이러한 흐름에 맞춰 HEVC(고효율 비디오 코딩, High Efficiency Video Coding)는 H.264/AVC의 표준화를 수행하였던ISO/IEC의 MPEC(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)가 2010년 1월에 공동으로 JCT-VC(Joint Collaborative Team on Video Coding)를 결성하여 개발한 새로운 차세대 비디오 압축 표준이다. HEVC에서는 CU(코딩 단위, Coding Unit), PU(예측 단위, Prediction Unit), TU(변환 단위, Transform Unit) 3가지 종류의 부호화 단위 적용과 계층적 쿼드-트리(Quad-tree) 구조의 부호화 수행을 하며, 64×64부터 8×8까지 다양한 크기의 부호화 단위를 사용한다. 이외에도 화면 내 예측 방향의 증가, 향상된 움직임 예측 기법, 움직임 벡터 병합 및 세분화된 루프 필터를 적용하여 이전의 압축 코덱인 H.264/AVC 대비 약 2배의 압축 성능을 보이지만 다양한 부호화 구조와 향상된 예측 기법에 따른 연산 복잡도가 크게 증가하였다.

새로운 기술들 중 움직임 예측은 현재 블록과 가장 유사한 예측 블록을 생성한다. 현재 PU와 참조 블록의 상관도를 비교하는 과정에서 정소화소와 부화소의 특징을 고려하여 간략화된 상관도 측정 방법인 SAD(Sum of Absolute Difference)를 사용하지만 화면 간 예측의 전역 탐색 알고리즘의 경우 4×8 PU부터 최대 64×64 PU까지 다양한 크기의 PU에 대한 SAD 연산을 반복 수행하기 때문에 연산량 및 연산 시간이 많다.

구체적으로 화면 간 예측의 움직임 추정(Motion Estimation, ME)은 인코더에서 수행되는 과정으로 참조 픽쳐에서 현재 PU와 상관도가 높은 예측 블록을 탐색하는 과정이다. 움직임 추정 수행 결과 PU 단위로 참조 픽쳐 리스트의 정보, 참조 픽쳐 인덱스, 움직임 벡터와 차분 신호를 변환 양자화 한 계수가 디코더로 전송된다. 디코더에서는 인코더로부터 전송된 주변 정보를 이용하여, 인코더와 동일한 예측 블록을 생성하고 양자화 된 잔차 신호를 사용하여 복원 블록을 생성하는 움직임 보상 과정을 수행한다. 도 1은 움직임 추정 과정을 나타낸다.

현재 PU와 참조 블록의 상관도를 비교하는 과정에서는 간략화된 상관도 측정 방법인 SAD(Sum Absolute Difference) 수학식 1을 사용한다.

여기서 B_cur는 현재 블록, B_ref는 참조 픽쳐 내에 존재하는 움직임 추정 후보 블록, i, j는 현재 PU의 위치 k, l은 움직임 추정 대상의 PU 위치를 나타낸다. 정수 화소의 움직임 추정은 현재 블록과 참조 블록의 차분값의 절대값을 최소화하는 참조 블록을 선택함으로써 하나의 예측 블록을 선택한다.

또한 HEVC에서는 최적의 예측 블록을 찾고자 할 때, Test Zone Search(TZS) 알고리즘과 Full-Search 알고리즘을 사용한다. Full-search 의 경우 도 2와 같이 X, Y 픽셀 좌표 (-64, -64) ~ (64, 64)까지 탐색을 반복 수행하기 때문에 탐색 성능은 뛰어나지만 탐색 범위가 커지면 연산량이 매우 커지는 단점이 있다. 반면 TZS 알고리즘은 grid search로 단계별 4개 혹은 8개씩 search point들만 계산하기 때문에 연산 속도는 빠르지만 Full-Search에 비해 예측 성능이 저하되는 단점이 있다.

따라서 본 발명에서는 고성능 HEVC 부호기를 위해 반복 연산되는 SAD 연산의 연산량 및 연산 시간을 줄이는 새로운 알고리즘을 적용한 시스템 및 방법을 제안한다.

대한민국 공개특허공보 제10-2014-0056599호(2014.05.12) 대한민국 등록특허공보 제10-1621358호(2016.05.17)

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 전역 탐색 과정에서 4×4 단위로 계산된 SAD 연산 결과를 재사용하여 전체 PU 블록에 대한 SAD 결과를 계산하고 최적의 PU 분할 블록 선택을 병렬적으로 처리하도록 설계함으로써 하드웨어 면적 및 연산 시간을 효과적으로 감소시킬 수 있는 고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 고성능 HEVC 부호기를 위한 움직임 추정 방법은, 2N×2N에 대해 Merge/SKIP RD-Cost를 계산하는 단계, 4×4 단위로 계산된 SAD 결과를 저장하는 단계, N×N, N×2N, 2N×N PU 모드 순서대로 메모리로부터 해당 영역만큼의 메모리 인덱스를 호출하여 결과 값을 계산하는 단계 및 AMP(비대칭 움직임 파티션, Asymmetric Motion Partition) 조건에 따라 비대칭적인 파티션에 대해 RD-cost를 계산하는 과정에서 상기 메모리로부터 해당 영역만큼의 상기 메모리 인덱스를 호출하여 최적의 PU 모드를 결정하는 단계를 포함한다.

한편, 본 발명의 고성능 HEVC 부호기를 위한 움직임 추정 시스템은, 필요한 클록을 분주하는 CLKGen 모듈, 메모리로부터 픽셀들을 입력받기 위한 MemCtrl 모듈, 입력받은 상기 픽셀에 대해 4×4 블록 단위로 SAD를 계산한 값을 저장하는 TComRDCost 모듈 및 4×4 블록 단위로 계산된 상기 SAD 값을 이용하여 모든 PU 블록 분할에 대하여 SAD 연산 결과를 구하는 TEnSearch 모듈을 포함한다.

상술한 바와 같이, 본 발명에 의한 고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법은 다음과 같은 효과를 제공한다.

전역 탐색 과정에서 4×4 단위로 계산된 SAD 연산 결과를 재사용하여 전체 PU 블록에 대한 SAD 결과를 계산하고 최적의 PU 분할 블록 선택을 병렬적으로 처리하도록 설계함으로써 하드웨어 면적 및 연산 시간을 효과적으로 감소시킬 수 있다.

도 1은 종래 HEVC의 움직임 추정 프로세스를 나타낸다.
도 2는 종래 HEVC에서의 64×64 PU 블록 전역 탐색 기반의 탐색 범위를 나타낸다.
도 3은 본 발명의 바람직한 실시예에 따른 고성능 HEVC 부호기를 위한 움직임 추정 알고리즘에서 블록을 재사용하는 방법을 나타낸다.
도 4는 본 발명의 바람직한 실시예에 따른 고성능 HEVC 부호기를 위한 움직임 추정 알고리즘에서 블록을 재사용하기 위해 제안되는 화면 간 예측의 전체 흐름을 나타낸다.
도 5는 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 전체적인 블록도를 나타낸다.
도 6은 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 TComRDCost 모듈의 내부 구조를 나타낸다.
도 7은 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 TEnSearch 모듈의 내부 구조를 나타낸다.
도 8은 본 발명의 바람직한 실시예에 따른 하드웨어 구조의 검증 방법을 나타낸다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

이하 본 발명의 고성능 HEVC 부호기를 위한 움직임 추정 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 바람직한 실시예에 따른 고성능 HEVC 부호기를 위한 움직임 추정 알고리즘에서 블록을 재사용하는 방법을 나타낸다.

본 발명에서는 Full-Search 알고리즘에서의 연산량을 효과적으로 줄이기 위해 4×4 단위의 SAD 연산 결과를 재사용하여 전체 PU 블록에 대한 SAD 결과를 계산하는 알고리즘을 제안한다. 도 3과 같이 4개의 4×4 블록의 SAD 결과 값의 합은 8×8블록의 SAD 결과 값과 같으며, 8×8 블록 4개의 값은 1개의 16×16 블록의 SAD 결과 값과 같다. 따라서 4×4 단위 SAD 결과 값을 저장하고 필요한 영역(PU 분할 크기) 만큼의 값만 호출하여 값을 더해줌으로써 반복되는 SAD 연산횟수를 효과적으로 줄이고 모든 PU 분할에 대해 SAD 값을 구할 수 있다.

도 4는 본 발명의 바람직한 실시예에 따른 고성능 HEVC 부호기를 위한 움직임 추정 알고리즘에서 블록을 재사용하기 위해 제안되는 화면 간 예측의 전체 흐름을 나타낸다.

도 4를 참조하면, 단계 S410에서 2N×2N에 대해 Merge/SKIP RD-Cost를 계산한다. 이후 2N×2N, N×N, N×2N, 2N×N 등의 PU 모드 순서대로 RD-Cost를 계산하는 대신, 2N×2N SAD 연산을 수행할 때 Inter 2N×2N 모드를 수행하고 4×4 단위로 계산된 SAD 결과를 메모리에 저장한 뒤(단계 S420), 차례로 N×N, N×2N, 2N×N PU 모드 순서대로 메모리로부터 해당 영역만큼의 메모리 인덱스(memory index)를 호출하여 결과 값을 계산한다(단계 S431 내지 S433). 마지막으로 AMP(비대칭 움직임 파티션, Asymmetric Motion Partition) 조건에 따라(단계 S440) 비대칭적인 파티션에 대해(단계 S440의 예) RD-cost를 계산하는 과정에서도 메모리로부터 해당 영역만큼의 메모리 인덱스를 호출하여 최적의 PU 모드를 결정한다(단계 S451 내지 S454).

실험예 1

본 발명에서 제안하는 SAD 알고리즘의 성능 향상을 비교하기 위해서 HEVC 참조 소프트웨어인 HM 16.12을 이용하여 모든 클래스 영상에 대해 검증하였다. 성능 평가 지표는 4가지 QP(22, 27, 32, 37)에 대한 BD-PSNR과 BD-Bitrate를 사용하였다. 표 1은 실험결과를 나타낸다.

[4], [5]의 성능 비교를 진행한 결과 제안하는 SAD 연산 알고리즘은 표준 소프트웨어 대비 평균적으로 61% 인코딩 속도가 향상되었으며 수학식 2와 같이 계산하였다.

여기서 TS는 인코딩 속도이고, TS_HM은 참조 소프트웨어인 HM 16.12의 TS, TS_propose는 본 발명의 TS이다.

그러면, 여기서 상기와 같이 제안된 방법을 이용한 본 발명의 고성능 HEVC 부호기를 위한 움직임 추정 시스템에 대해 설명하기로 한다.

본 발명은 32×32 화소 단위로 SAD 연산을 수행할 때 발생하는 높은 연산량과 연산 시간을 감소시키고 하드웨어 면적을 최소화하기 위해, 4×4 연산기의 병렬적 구조를 사용한다.

기존 움직임 추정 SAD 연산기의 구조는 top-down 방식으로 최적의 SAD값을 계산하여 PU블록 분할을 결정하기 위해 LCU(Largest CU) 블록을 표 2와 같이 최대 3-depth까지 하위 블록으로 분할하여 반복 수행한다. 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 구조는 bottom-up 방식으로 최하위 depth(심도)를 먼저 연산하여 상위 depth까지 이전에 계산된 연산 결과를 재사용하는 구조로 설계하였다.

최하위 depth인 4×4부터 SAD 연산을 수행하여, 4×4의 SAD 결과들을 8×8에서 사용하는 bottom-up 방식으로 적용한 결과 top-down 방식일 때는 32×32 블록을 처리를 해야 하므로 1024개의 픽셀을 처리하는 반면, bottom-up 방식은 4×4 블록을 병렬적으로 처리하기 때문에 16개의 픽셀만 처리하면 된다. 따라서 본 발명에 따르면 하드웨어 크기와 연산량 및 연산 시간이 크게 줄어든다.

도 5는 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 전체적인 블록도를 나타낸다. 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 전체 구조는 필요한 클록을 분주하는 CLKGen 모듈, 메모리로부터 픽셀들을 입력받기 위한 MemCtrl 모듈, 입력받은 픽셀 정보를 4×4 블록 단위로 SAD를 계산하여 값을 저장하는 TComRDCost 모듈, 4×4 블록 단위로 SAD 값이 계산된 정보를 이용하여 모든 PU 블록 분할에 대하여 SAD 연산 결과를 구하는 TEnSearch 모듈로 구성된다.

도 6은 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 TComRDCost 모듈의 내부 구조를 나타낸다. 본 발명의 바람직한 실시예에 따른 움직임 추정 하드웨어 구조의 TComRDCost 모듈은 4×4 블록 단위로 SAD 연산을 수행하며 LCU 크기 32×32를 4×4 단위로 병렬 처리하기 위해서 64개의 연산기로 구성된다. 각 SAD Computing 모듈에서는 현재 블록 4×4 픽셀, 참조 블록 4×4 픽셀 32개 값에 대하여 각각 abs(절대값, Absolute) 연산을 수행한 뒤 SAD 결과 값을 출력한다.

도 7은 본 발명의 바람직한 실시예에 따른 움직임 추정 시스템의 TEnSearch 모듈의 내부 구조를 나타낸다. 본 발명의 바람직한 실시예에 따른 움직임 추정 하드웨어 구조의 TEnSearch 모듈은 TComRDCost 모듈로부터 입력받은 4×4 단위 SAD 값을 이용하여 bottom-up 방식으로 32×32 블록에 대한 모든 분할 PU에 대하여 SAD 결과를 계산한다. 입력받은 64개의 4×4 SAD 연산 결과를 이용하여 각 depth에 따른 SAD 결과를 계산한다. Depth_3블록에서 8×4, 4×8, 8×8 블록에 대한 SAD 값을 계산한다. 이후 Depth_3의 값은 Depth_2에서 Depth_2의 값은 Depth_1의 값을 계산하는데 재사용되어 bottom-up 계산을 한다. 움직임 추정 알고리즘에서 최적의 PU 블록 분할을 결정하고 움직임 벡터를 추정할 때 최소값의 SAD 결과를 갖는 PU 블록을 결정하여 움직임을 추정하기 때문에 Save_min 블록에서 각 블록에 대하여 최소 SAD 연산 결과를 갖는 값만 SAD_Result로 출력된다.

실험예 2

본 발명의 바람직한 실시예에 따른 하드웨어 구조의 검증 방법은 도 8과 같이 HEVC 참조 소프트웨어인 HM 16.12에서 32×32 블록의 픽셀값을 추출하여 HM 16.12와 본 발명의 바람직한 실시예에 따른 하드웨어 입력을 통해 결과값을 비교하였다.

65nm CMOS 공정 라이브러리로 합성한 결과 본 발명의 바람직한 실시예에 따른 움직임 추정 알고리즘은 표 3과 같이 최대 동작 주파수는 255 MHz, 총 게이트 수는 65.1K로 나타났다.

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

Claims

4×4 단위로 계산된 SAD(Sum of Absolute Difference) 연산 결과를 재사용하여 전체 PU(예측 단위, Prediction Unit) 블록에 대한 SAD 결과를 계산하는 고성능 HEVC 부호기를 위한 움직임 추정 방법.
청구항 1에서,
최적의 PU 분할 블록 선택을 병렬적으로 처리하는 고성능 HEVC 부호기를 위한 움직임 추정 방법.
청구항 1 또는 2에서,
상기 4×4 단위로 계산된 SAD 연산 결과를 저장하고 PU 분할 크기 만큼의 상기 SAD 연산 결과값만을 호출하여 더해주는 고성능 HEVC 부호기를 위한 움직임 추정 방법.
2N×2N에 대해 Merge/SKIP RD-Cost를 계산하는 단계,
4×4 단위로 계산된 SAD 결과를 저장하는 단계,
N×N, N×2N, 2N×N PU 모드 순서대로 메모리로부터 해당 영역만큼의 메모리 인덱스를 호출하여 결과 값을 계산하는 단계 및
AMP(비대칭 움직임 파티션, Asymmetric Motion Partition) 조건에 따라 비대칭적인 파티션에 대해 RD-cost를 계산하는 과정에서 상기 메모리로부터 해당 영역만큼의 상기 메모리 인덱스를 호출하여 최적의 PU 모드를 결정하는 단계를 포함하는 고성능 HEVC 부호기를 위한 움직임 추정 방법.
4×4 단위로 계산된 SAD 연산 결과를 재사용하여 전체 PU 블록에 대한 SAD 결과를 계산하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 5에서,
최적의 PU 분할 블록 선택을 병렬적으로 처리하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 5 또는 6에서,
상기 4×4 단위로 계산된 SAD 연산 결과를 저장하고 PU 분할 크기 만큼의 상기 SAD 연산 결과값만을 호출하여 더해주는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 5에서,
최하위 심도에 대한 최적의 SAD 값을 먼저 연산하고 최상위 심도까지 이전에 계산된 상기 연산 결과를 재사용하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
필요한 클록을 분주하는 CLKGen 모듈,
메모리로부터 픽셀들을 입력받기 위한 MemCtrl 모듈,
입력받은 상기 픽셀에 대해 4×4 블록 단위로 SAD를 계산한 값을 저장하는 TComRDCost 모듈 및
4×4 블록 단위로 계산된 상기 SAD 값을 이용하여 모든 PU 블록 분할에 대하여 SAD 연산 결과를 구하는 TEnSearch 모듈을 포함하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 9에서,
상기 TComRDCost 모듈은 4×4 블록 단위로 SAD 연산을 수행하며 LCU(최대 코딩 유닛, Largest Coding Unit) 크기를 4×4 단위로 병렬 처리하기 위한 갯수의 SAD 연산기로 구성되는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 10에서,
상기 SAD 연산기는 현재 블록 4×4 픽셀 및 참조 블록 4×4 픽셀의 32개 값에 대하여 각각 절대값 연산을 수행한 뒤 SAD 결과 값을 출력하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.
청구항 9 내지 11 중 어느 한 항에서,
상기 TEnSearch 모듈은 상기 TComRDCost 모듈로부터 입력받은 4×4 단위 SAD 값을 이용하여 bottom-up 방식으로 각 심도에 따른 SAD 결과를 계산하여 32×32 블록에 대한 모든 분할 PU에 대하여 SAD 결과를 계산하는 고성능 HEVC 부호기를 위한 움직임 추정 시스템.