KR101620593B1 - 하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법 - Google Patents

Abstract

본 발명은 하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법에 관한 것으로, 오리지널 픽셀(Original Pixel)을 참조 픽셀(Reference Pixel)로 이용하여 RMD(Rough Mode Decision)를 수행하여 복수의 인트라 예측 모드(Intra Prediction Mode) 중에서 블록 사이즈에 따라 복수의 후보 모드(Candidate Mode)를 선택하는 제1 단계; 및 상기 선택된 모드(Mode) 내에서 RDO(Rate-Distortion Optimization) process를 수행하여 최적의 모드를 결정하는 제2 단계;로 구성되는 것을 특징으로 한다.
본 발명에 따르면, HEVC 부호화기 하드웨어 설계를 위해 인트라 예측(Intra Prediction)의 참조 픽셀(Reference Pixel)로 복호 픽셀(Reconstructed Pixel) 대신에 오리지널 픽셀(Original Pixel)을 사용하여 블록간의 의존성을 제거함으로서 유효 시간(Idle time)을 제거하여 부호화 시간(encoding time)을 단축시킬 수 있다.

Description

하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법 { Dependency Breaking method for a hardware-based HEVC Intra Prediction }

본 발명은 하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법에 관한 것으로서, 좀더 상세하게는 하드웨어 기반 에이치이브이씨 인트라 예측시 소요되는 유휴시간(Idle time)을 없애 부호화 시간(encoding time)을 최대한 단축할 수 있도록 블록 간 의존성을 제거할 수 있는 방법에 관한 것이다.

일반적으로 영상 압축 기술은 영상회의, 스트리밍, 영상 저장 및 화상통신 등의 영상 애플리케이션들 뿐만 아니라 HD(High-definition) 영상 콘텐츠에 대한 폭발적인 수요 증가로 인해 다양한 산업 분야에서 주목받고 있다. 이때, H.264/AVC는 표준화되고 가장 널리 사용되고 있는 최신의 영상 부호화기술이다.

한편, 최근에는 차세대 영상 부호화기술 표준으로 알려진 에이치이브이씨(HEVC, High Efficiency Video Coding)는 ISO/IEC MPEG와 ITU-T VCEG에 의해 발전되어져 왔다.

상기 HEVC는 유연한 블록 구조(flexible block structure), 증가된 인트라코딩방향(increased intra-coding direction)들, 정교한 인터폴레이션 필터들(sophisticated interpolation filters), 다양한 인루프 필터들(various in-loop filters), 그리고 향상된 엔트로피 부호화 스킴들(enhanced entropy coding schemes) 등의 여러 새로운 형태가 소개되고 있다.

현재 표준화된 HEVC(High Efficiency Video Coding)는 동일한 화질을 기준으로 H.264/AVC 보다 약 2배 정도 향상된 압축률을 제공하지만, 기존의 압축 표준보다 압축효율을 높이기 위해 다양한 기법들이 추가되어 연산의 복잡도는 훨씬 증가하였다.

이때, HEVC(High Efficiency Video Coding)의 압축률 향상을 위한 다양한 기법들 중에서 인트라 예측(Intra Prediction)의 경우 HEVC에서 35개의 인트라 예측 모드(Intra Prediction Mode)를 제공한다. 이는 기존의 H.264/AVC에서 제공하는 9개의 인트라 예측 모드(Intra Prediction Mode)보다 약 4배가 더 많은 예측 모드(Prediction Mode)를 사용함으로써 보다 뛰어난 압축효율을 가지게 되었다.

이와 같은 인트라 예측(Intra Prediction)은 인접한 왼쪽과 위쪽 블록에서 만들어진 복호 픽셀(Reconstructed Pixel)을 참조 픽셀(Reference Pixel)로 사용하여 예측 블록을 만든다. 따라서, 이전 단계에서 복호 픽셀(Reconstructed Pixel) 구성을 완료해야 현재 블록의 인트라 예측(Intra Prediction)을 진행할 수 있다.

도 1은 종래 HEVC에서의 인트라 예측 과정을 설명하기 위해 도시한 도면이다. 하드웨어 구현 측면에서는 도 1에서와 같이 현재 블록의 인트라 예측(Intra Prediction) 이후 다음 블록의 인트라 예측(Intra Prediction)을 진행하기 위해서 현재 블록의 복호(Reconstruction)가 완료되기를 기다려야 한다. 이러한 이유로 예측(Prediction) 과정 사이에 유휴 시간(Idle time)이 발생하게 되어 전체적으로 부호화 시간(encoding time)이 길어지게 되는 문제점이 있다.

따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서, 본 발명은 하드웨어 기반 HEVC 인트라 예측시 소요되는 유휴시간(Idle time)을 없애 부호화 시간(encoding time)을 최대한 단축할 수 있도록 블록 간 의존성을 제거할 수 있는 하드웨어 기반 HEVC 인트라 예측에서 블록 간 의존성 제거 방법을 제공하는데 그 목적이 있다.

이와 같은 기술적 과제를 해결하기 위해 본 발명은;

오리지널 픽셀(Original Pixel)을 참조 픽셀(Reference Pixel)로 이용하여 RMD(Rough Mode Decision)를 수행하여 복수의 인트라 예측 모드(Intra Prediction Mode) 중에서 블록 사이즈에 따라 복수의 후보 모드(Candidate Mode)를 선택하는 제1 단계; 및 상기 선택된 모드(Mode) 내에서 RDO(Rate-Distortion Optimization) process를 수행하여 최적의 모드를 결정하는 제2 단계;로 구성되는 것을 특징으로 하는 하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법을 제공한다.

이때, 상기 제1 단계는 35개의 인트라 예측 모드(Intra Prediction Mode) 중에서 블록 사이즈에 따라 후보 모드(Candidate Mode)를 선택하는 단계;인 것을 특징으로 한다.

그리고, 상기 선택되는 후보 모드(Candidate Mode)는 8개 또는 3개인 것을 특징으로 한다.

또한, 상기 제1 및 제2 단계는 HEVC(High Efficiency Video Coding)에서 영상의 압축에 사용되는 부호화기에서 수행되는 것을 특징으로 한다.

본 발명에 따르면, HEVC 부호화기 하드웨어 설계를 위해 인트라 예측(Intra Prediction)의 참조 픽셀(Reference Pixel)로 복호 픽셀(Reconstructed Pixel) 대신에 오리지널 픽셀(Original Pixel)을 사용하여 블록간의 의존성을 제거함으로써 유효 시간(Idle time)을 제거하여 부호화 시간(encoding time)을 단축시킬 수 있다.

도 1은 종래 HEVC에서의 인트라 예측 과정을 설명하기 위해 도시한 도면이다.
도 2는 통상의 HEVC 부호화기와 복호화기의 구성을 도시한 개념도이다.
도 3은 본 발명에 따른 HEVC에서의 인트라 예측 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 발명에 따른 HEVC HEVC에서의 인트라 예측 방법을 적용한 경우 HM 10.0 대비 제안된 방법의 BD-BR, BD-PSNR 비교표이다.

본 발명에 따른 하드웨어 기반 HEVC 인트라 예측에서 블록 간 의존성 제거 방법을 첨부한 도면을 참고로 하여 이하 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 2는 HEVC 부호화기와 복호화기의 구성을 도시한 개념도이다. 이에 의하면 하드웨어 기반의 HEVC(High Efficiency Video Coding)에서 영상의 압축에 사용되는 부호화기(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.

그리고, 영상 복호화기(200)는 상기 부호화기(100)에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 이때, 인트라 모드인 경우에는 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

이때, 본 발명에서는 하드웨어 기반 HEVC 인트라 예측에서 블록 간 의존성을 제거하기 위해 부호화기(Encoder)(100)에서는 다음과 같은 방법을 사용한다.

인트라 예측(Intra Prediction)의 최적의 모드를 선택하기 위해 35개의 인트라 예측 모드(intra prediction mode) 모두 RDO(Rate-Distortion Optimization)를 수행하게 되면 계산 복잡도가 높은 RDO의 특성상 부호화기(Encoder)(100)에서는 상당한 계산 시간을 소모하게 된다.

따라서, 인트라 예측(Intra Prediction)에서는 35개의 인트라 예측 모드(Intra Prediction Mode) 중에서 블록 사이즈에 따라 8개 또는 3개의 후보 모드(Candidate Mode)를 선택하는 RMD(Rough Mode Decision) process(S100)를 수행한 후, 선택된 인트라 예측 모드(Intra Prediction Mode) 내에서 최적의 모드를 결정하는 RDO(Rate-Distortion Optimization) process(S200)를 수행하게 된다.

이때, 상기 RMD process(S100)는 RDO process(S200)에 비해 처리속도가 매우 빠르므로 인트라 예측(Intra Prediction)의 부호화 시간(encoding time)을 상당히 단축시킬 수 있다.

현재, RMD process(S100)는 인접 블록의 복호 픽셀(Reconstructed Pixel)을 이용하여 35개의 예측 블록을 만들고 SATD(Sum of Absolute Transformed Differences)값을 계산하여 후보 모드(Candidate Mode)를 결정하게 된다. 따라서, 현재 블록의 인트라 예측(mntra Prediction)을 수행하기 위해서는 이전 단계에서 복호화(Reconstruction)가 완료되기를 기다려야 한다.

따라서, 본 발명에서는 RMD process(S100) 과정에서 사용되는 참조 픽셀(Reference Pixel)을 오리지널 픽셀(Original Pixel)로 구성하여 이와 같은 의존성(dependency) 문제를 해결한다.

이때, 상기 RMD process(S100)에서는 후보를 고르는 것이기 때문에 예측블록을 생성하는 과정에서 복호 픽셀(Reconstructed Pixel)을 오리지널 픽셀(Original Pixel)로 바꾸어 정확도가 떨어지더라도 최종 결과에는 크게 영향을 미치지 않으면서 의존성(dependency)을 제거하여 유휴 시간(Idle time)을 없앨 수 있다.

도 3을 참고하면, RMD Process에서는 복호 픽셀(Reconstructed Pixel)이 구성되는 시간을 기다리지 않아도 된다. 복호 픽셀(Reconstructed Pixel)은 최적모드를 결정하는 RDO process(S200)에서 사용된다. 이와 같이 RMD process(S100)에서 오리지널 픽셀(Original Pixel)을 참조 픽셀(Reference Pixel)로 이용하여 예측블록을 만들면 유휴 시간(Idle time) 없이 예측(Prediction)이 연속적으로 진행된다.

이와 같이 본 발명에 따른 하드웨어 기반 HEVC 인트라 예측에서 블록 간 의존성 제거 방법을 수행하는 경우 도 4의 표와 같은 시뮬레이션 결과를 얻을 수 있다. 이때, 도 4의 표는 본 발명에서 제안한 방식을 적용했을 때의 R-D 성능을 HM 10.0과 비교하여 나타낸 것이다.

이를 살펴보면, 첫 번째 열은 영상의 해상도이고, 두 번째 열은 sequence 종류를 나타낸다. 그리고, 각 영상은 Max CU size를 64로 설정하고, QP 값은 24, 28, 32, 36으로 설정하여 30 frame 씩 부호화(encoding)한 결과이다.

이상의 제안한 방식을 적용했을 때 luma에 대한 BD-BR 증가와 BD-PSNR의 감소는 각각 0.16%와 -0.005 dB로 크지 않았다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 부호화기
200: 복호화기

Claims (4)

1. 참조 픽셀(Reference Pixel)을 이용하여 35개의 인트라 예측 모드를 만들고 상기 인트라 예측 모드에 대한 SATD 값을 계산하여 복수의 후보 모드(Candidate Mode)를 선택하는 RMD(Rough Mode Decision) 프로세스와, 상기 선택된 후보 모드 내에서 최적의 모드를 결정하는 RDO(Rate-Distortion Optimization) 프로세스를 포함하여 구성되는 부호화기에서 수행되는 하드웨어 기반 에이치이브이씨 인트라 예측 방법에 있어서,
   상기 참조 픽셀으로 인접 블록의 오리지널 픽셀(Original Pixel)을 사용하여 유휴 시간(Idle time)을 없앨 수 있도록 구성된 것을 특징으로 하는 하드웨어 기반 에이치이브이씨 인트라 예측에서 블록 간 의존성 제거 방법.
   
2. 삭제
3. 삭제
4. 삭제

Images