KR20170033474A - 고효율 비디오 부호화를 위한 움직임 추정 단계의 율-왜곡 최적화 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 부호화에 있어, 화면 간 예측에서의 움직임 추정 단계에서 추가적인 선택적 또는 비선택적 율-왜곡 최적화 단계를 통한 율-왜곡 비용을 계산에 의하여 부호화 효율을 높일 수 있다.

Description

고효율 비디오 부호화를 위한 움직임 추정 단계의 율-왜곡 최적화 방법 및 장치{METHOD AND APPARATUS FOR VIDEO CODEC EFFICIENCY BY USING OPTIMAL RDO IN INTER-PREDICTION}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 영상의 부호화 정보를 이용하여, 영상 부호화 효율을 높이기 방법에 관한 것이다.

최근 FHD (Full High Definition) 및 UHD (Ultra High Definition) 와 같은 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다. 이런 시장의 요구에 따라 MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 2010년 JCT-VC (Joint Collaborative Team on Video Coding)를 구성한 후 HEVC (High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발을 시작하여, 2013년 1월 HEVC version1 표준 기술의 개발이 완료되었으며, HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 동일 주관적 화질 기준으로 약 50%의 압축 효율 향상을 달성하였다.

본 발명의 일부 실시예는 영상의 부호화 단계에서 화면 간 예측의 율-왜곡 비용 계산 단계를 설정함으로써 영상 부호화 효율을 선택적으로 높이는 방법 및 장치를 제공하는 것을 그 목적으로 한다. 다만 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 부호화 장치는 영상에 대한 부호화를 수행함에 있어, 화면 간 예측의 율-왜곡 비용을 계산하는 단계를 선택적으로 적용하여 최적화된 예측 부호화를 수행한다. 입력 영상에 대한 화면 간 예측을 이용하여 참조 블록을 찾아 현재 부호화하려는 블록에 대한 부호화를 수행할 때, 해당 영상의 율-왜곡 비용(RD-Cost) 계산은 참조 픽쳐와 현재 부호화를 진행하는 픽쳐에서의 블록간 차분값을 이용하여 수행할 수 있는데, 본 발명에서는 해당 RD-Cost 계산까지의 단계를 주파수 변환, 양자화, 엔트로피 부호화 등까지로 단계를 설정하여 수행함으로써 최적화된 화면 간 예측을 수행하여 영상의 부호화 효율을 높인다.

전술한 본 발명의 과제 해결 수단에 의하면, 부호화기에서 화면 간 예측의 율-왜곡 비용 계산 단계를 선택적으로 조절하여 부호화를 수행함으로써, 율-왜곡 비용 계산 단계에서 예측 블록 간의 잔차 신호를 이용한 RD-Cost 계산단계 이외에도 선택적으로 화면 간 예측에 있어 RD-Cost 계산 단계를 조절하여 현재 블록에 대한 최적화된 참조 블록을 찾아 부호화를 수행할 수 있다. 이를 통하여 부호화기에서는 화면 간 예측의 압축 효율을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 부호화 과정에서의 선택적 율-왜곡 단계의 흐름을 도시한다.
도 2는 본 발명의 일 실시예에 따른 부호화 과정에서의 움직임 추정 과정의 예를 도시한다.
도 3는 본 발명의 일 실시예에 따른 화면 간 예측에 있어서의 선택적 율-왜곡 수행 단계의 흐름을 도시한다.
도 4은 본 발명의 일 실시예에 따른 선택적 율-왜곡 최적화 수행 단계의 흐름을 도시한다.
도 5는 본 발명의 일 실시예에 따른 비선택적 율-왜곡 최적화 수행 단계의 흐름을 도시한다.
도 6는 본 발명의 일 실시예에 따른 비디오 부호화 장치의 블록도를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 코딩유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시 예에 따른 부호화 과정에서의 선택적 율-왜곡 단계의 흐름을 도시한다.

선택적 율-왜곡 단계를 수행하는 비디오 부호화 장치 및 방법으로는 부호화를 수행할 입력 영상을 입력 받은 이후, 입력 영상의 율-왜곡 단계 설정을 통한 율-왜곡 수행부로 구성되어 영상을 부호화 할 수 있다. 또한, 율-왜곡 수행부는 율-왜곡 단계 설정부로부터 율-왜국 최적화를 수행하기 위해 단계를 결정할 수 있으며, 이 단계를 통해 영상 부호화 수행시, 화면 간 예측에 따른 율-왜곡 비용 계산 단계를 설정하여 수행한다. 이하 입력 영상의 율-왜곡 단계 설정부와 이를 통한 단계 결정 및 영상 부호화 단계를 통해 입력 영상이 부호화 되는 과정을 상술한다.

일 실시예에 따른 부호화 장치는 영상 입력부(100), 입력 영상의 율-왜곡 단계 설정부(110), 율-왜곡 단계 결정부(120) 및 영상 부호화부(130)를 포함한다.

일 실시예에 따른 부호화 장치는 영상 입력부(100)를 통해 부호화를 수행하는 영상을 입력 받을 수 있다. 이후, 입력 영상은 율-왜곡 단계 설정 및 율-왜곡 단계 결정부를 통해 화면 간 예측에 있어 최적화된 부호화를 수행한다.

입력 영상의 율-왜곡 단계 설정부(110)는 전달 받은 입력 영상의 율-왜곡 단계를 설정하는 단계로써, 시스템, 네트워크 환경 및 부호화를 수행하는 사용자로부터 직접 및 간접적으로 율-왜곡 최적화 단계의 수행 여부를 설정하게 된다.

이때, 율-왜곡 최적화 단계를 수행할 경우, 화면 간 예측의 움직임 탐색에 있어 율-왜곡 비용(RD-Cost)를 계산 과정에 있어 부호화 효율을 높일 수 있는 화면 간 예측에 있어서의 선택적 율-왜곡 수행 단계(300) 또는 비 선택적 율-왜곡 최적화 수행 단계(500)를 거쳐 입력 영상에 대한 부호화를 수행하게 된다. 그렇지 않은 경우, 일상적인 방법을 통해 화면 간 예측을 수행하게 되며 현재 블록과 참조 블록간의 잔차 신호를 계산하여 현재 블록을 부호화하기 위한 참조 블록을 찾게 된다.

율-왜곡 단계 결정부(120)는 율-왜곡 단계 설정부(110)의 율-왜곡 최적화 수행 여부에 따라 부호화를 수행할 영상에 있어, 화면 간 예측의 움직임 정보를 수행하는데 있어서의 최적화 단계를 결정하게 된다.

이때, 결정 단계에 따라 율-왜곡 최적화 수행 단계(400)를 설정하여 예측 블록과 현재 블록간의 RD-Cost 계산에 있어 깊이를 설정할 수 있다.

영상 부호화부는 이전의 입력 영상의 율-왜곡 단계 설정부(110) 및 율-왜곡 단계 결정부(120)에서 화면 간 예측을 수행할 방법을 전달 받아 입력 영상에 대한 부호화를 수행한다.

도 2는 본 발명의 일 실시예에 따른 부호화 과정에서의 움직임 추정 과정의 예를 도시한다.

영상 부호화 방법에 있어, 일반적인 화면 간 예측의 움직임 추정 단계는 현재 블록과 참조 블록간의 잔차 신호를 비용 함수를 통해 계산하게 되고, 이를 이용하여 부호화 효율을 높일 수 있는 참조 블록을 선택하여 예측 부호화를 수행하게 된다. 이하 화면 간 예측에 있어서의 현재 블록과 참조 블록간의 RD-Cost를 계산하는 방법에 대해 상술한다.

일 실시예에 따른 화면 간 예측 과정에서의 움직임 추정은 부호화를 수행중인 현재 픽쳐(220)의 부호화 블록(230)은 참조 픽쳐(210)로부터 특정 예측 블록(240)을 찾는다. 이때 참조 픽쳐에서 예측 블록을 찾는 초기 위치는 현재 픽쳐의 부호화 블록과 동일한 위치 및 그 주변에서부터 탐색 범위 내를 순회, 현재 블록과 예측 블록간의 잔차 신호에 대한 SAD(Sum of Absolute Difference)를 계산하여 RD-Cost를 계산하게 된다. 이때, SAD를 통해 계산한 비용이 가장 작은 예측 블록을 현재 블록의 참조 블록으로 설정하고, 참조 픽쳐 인덱스, 움직임 방향 등 움직임 정보를 부호화하게 된다. 여기에서 탐색 알고리즘은 TZSearch 알고리즘, Full-Search 알고리즘 및 3-step 알고리즘 등 다양한 알고리즘이 사용될 수 있으며, 본 특허에서는 이를 제한하지 않는다.

일 실시예에 따른 화면 간 예측 과정에서의 움직임 추정은 상기 서술한 예측 블록과 부호화 블록간의 SAD를 이용한 RD-Cost 계산 과정을 포함하며, 율-왜곡 최적화 단계를 수행하게 될 경우, 현재 블록과 예측 블록간의 RD-Cost를 계산하는 과정에서 화면 간 예측에서의 율-왜곡 최적화 수행 단계(300)를 통해 현재 블록에 대한 부호화를 수행할 수 있다.

도 3은 본 발명의 일 실시예에 따른 화면 간 예측에서의 율-왜곡 수행 단계의 흐름을 도시한다.

도 3을 참조하면, 화면 간 예측 부호화 방법에 있어, 도 2에서 상술한 움직임 추정 방법을 포함하여 화면 간 예측을 수행할 수 있으며, 본 발명의 일 실시예에 따른 율-왜곡 최적화 수행단계를 직접 또는 간접적으로 추가 수행할 수 있다.

보다 상세하게는, 화면 간 예측 부호화에 있어 현재 블록의 참조 블록에 대한 탐색을 수행할 때, 초기 움직임 추정 탐색점 추출(300), 예측 블록간의 잔차 신호를 통한 RD-Cost 계산(320), 탐색 범위 순회(350)의 단계 과정을 포함하여 화면 간 예측의 율-왜곡 최적화 수행 여부를 판단(330)하여, 탐색 범위 내의 움직임 추정을 수행할 수 있다.

화면 간 예측의 율-왜곡 최적화 단계를 수행하지 않을 경우, 탐색 범위 내의 예측 블록과 현재 블록간의 잔차 신호에 대한 SAD를 통한 RD-Cost를 계산하여 현재 블록에 대한 화면 간 예측 부호화를 수행한다.

화면 간 예측의 율-왜곡 최적화 단계를 수행할 경우, 현재 블록에 대한 율-왜곡 최적화 RD-Cost 계산 단계(340)를 거쳐 현재 블록에 대한 예측 블록을 탐색하고, 이를 이용하여 움직임 정부 및 현재 블록에 대한 부호화를 수행할 수 있다. 이때, 율-왜곡 최적화 단계는 선택적 또는 비선택적 수행 단계로 구성될 수 있으며, 이에 대한 상세한 실시 예는 도면 4 및 도면 5에서 상술한다.

도 4는 본 발명의 일 실시예에 따른 선택적 율-왜곡 최적화 수행 단계의 흐름을 도시한다.

도 4를 참조하면, 본 발명의 실시예에 따른 부호화 장치의 화면 간 예측의 방법은 현재 블록과 예측 블록간의 잔차 신호를 이용한 SAD를 통해 RD-Cost를 비교한 현재 블록 부호화 방법과 본 특허의 일 실시예에 따른 선택적 율-왜곡 최적화 수행 단계(400)를 통해 수행될 수 있다.

보다 상세하게는, 현재 블록을 화면 간 예측을 이용하여 부호화를 수행할 때, 화면 간 예측 단계(410)를 설정하여 도 2에서 설명한 움직임 추정 과정에서 현재 블록과 탐색 범위 내의 예측 블록들간의 RD-Cost를 측정(495)함에 있어, 잔차 신호를 통한 SAD 측정(420) 이후 추가적인 단계를 거쳐 최적의 예측 블록에 대한 움직임 추정을 수행할 수 있다. 이때, 추가적인 RD-Cost 계산 단계는 잔차 신호에 대해 주파수 변환(440)을 수행한 이후, 추가적인 율-왜곡 최적화를 수행하지 않을 경우, 주파수 계수를 이용한 RD-Cost 측정 방법(495)이 있을 수 있다. 만약 추가적인 율-왜곡 최적화를 수행할 경우, 잔차 신호에 대한 주파수 변환(440)을 수행하며 이에 대한 출력 주파수 계수를 양자화(460)시켜 RD-Cost 측정 방법(495)이 있을 수 있다. 이때, 추가적인 율-왜곡 최적화를 수행할 경우, 잔차 신호에 대한 주파수 변환(440), 주파수 계수에 대한 양자화(460), 엔트로피 부호화(480)를 수행하고 RD-Cost를 측정(495)하는 단계가 있을 수 있다. 이는 화면 간 예측을 통한 현재 블록의 부호화에 있어, 부호화 효율을 최적으로 갖는 예측 블록을 찾는 방법으로서 네트워크 환경, 시스템 및 사용자의 입력 등을 통해 각 단계를 선택하여 부호화를 수행할 수 있다.

도 5는 본 발명의 일 실시예에 따른 비선택적 율-왜곡 최적화 수행 단계의 흐름을 도시한다.

도 5를 참조하면, 본 발명의 실시예에 따른 부호화 장치의 화면 간 예측의 방법(500)은 현재 블록을 화면 간 예측을 통해 부호화를 수행할 때, 도 4의 (420), (470), (480) 및 (490) 단계를 순차적으로 수행하여 RD-Cost를 측정하는 방법이다.

보다 상세하게는, 도 5의 비선택적 율-왜곡 최적화 수행 단계(500)는 현재 블록을 화면 간 예측을 이용하여 부호화를 수행할 때, 화면 간 예측 단계(410)을 설정하지 않고, 도2에서 상술한 움직임 추정 단계에서 현재 블록과 예측 블록간의 잔차 신호를 통한 SAD 계산(530) 이후, 잔차 신호에 대한 주파수 변환(540), 주파수 계수에 대한 양자화(550), 엔트로피 부호화(560)를 수행하여 탐색 범위 내의 예측 블록들의 RD-Cost를 계산 및 비교하여 최적의 예측 블록을 선택한다.

도 6은 본 발명의 일 실시예에 따른 부호화 단위에 기초한 비디오 부호화 장치의 블록도를 도시한다.

일 실시예에 따른 영상 부호화부(600)는, 화면 내 예측부(610)는 현재 프레임(605) 중 화면 내 예측 모드의 부호화 단위에 대한 화면 내 예측을 수행하고, 움직임 추정부(620) 및 움직임 보상부(630)는 화면 간 예측에서의 현재 프레임(605) 및 참조 프레임(690)을 이용하여 움직임 추정 및 움직임 보상을 수행한다.

또한, 화면 간 예측에 있어, 상기 서술한 화면 간 예측에서의 율-왜곡 최적화 수행 단계(300), 움직임 추정 단계에서 선택적(400) 및 비선택적(500) RD-Cost 최적화 계산 단계를 포함한다.

보다 자세하게는, 화면 간 예측 방법에 있어 움직임 추정 단계에서 선택적(400) 및 비선택적(500) RD-Cost 최적화 단계를 통한 부호화를 수행할 때, (615)를 과정을 통해 움직임 추정 단계에서의 현재 블록과 예측 블록 RD-Cost 비교할 수 있다. (615)에서 선택적 RD-Cost 최적화 단계를 수행할 경우, 현재 블록과 예측 블록의 잔차 신호에 대하여 주파수 변환부(640) 또는 주파수 변환(640) 및 양자화 부(650) 또는 주파수 변환(640), 양자화부(650) 및 엔트로피 부호화부(660)를 수행한 결과를 바탕으로 현재 블록과 탐색 범위 내의 예측 블록들의 RD-Cost를 계산하여 최적의 예측 블록을 선택해서 부호화를 수행한다.

본 실시예에 따른 부호화 장치는 상술한 화면 간 예측 방법과 화면 내 예측부(610)로부터 출력된 데이터를 주파수 변환부(640) 및 양자화부(650)을 거쳐 양자화된 변환 계수로 출력된다. 양자화 변환 계수는 역양자화부(670), 주파수 역변환부(675)을 통해 공간 영역의 데이터로 복원되고, 복원된 공간 영역의 데이터는 디블록킹부(680) 및 루프 필터링부(685)를 거쳐 후처리되어 복원 프레임으로 출력될 수 있다. 또한, 디블로킹부(680) 및 루프 필터링부(685)를 거쳐 후처리된 데이터는 참조 프레임(690)으로서 출력될 수 있다.

해당없음

Claims (2)

1. 비디오 부호화 장치에 있어서.
   영상 입력부;
   상기 입력받은 입력 영상에 대한 화면 간 예측에 있어 율-왜곡 최적화 단계를 수행 여부를 설정하기 위한 율-왜곡 단계 설정부;
   상기 율-왜곡 단계 설정부로부터 전달받은 율-왜곡 최적화 단계를 설정하기 위한 율-왜곡 비용을 계산하기 위한 단계 결정부;
   상기 율-왜곡 단계 결정부를 통해 율-왜곡 최적화를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 장치
   
2. 비디오 부호화 방법에 있어서.
   상기 비디오 부호화를 수행하는 단계에서의 화면 간 예측을 수행하는 단계;
   상기 화면 간 예측의 움직임 추정에서의 선택적 율-왜곡 최적화 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 잔차 신호에 대한 주파수 변환을 수행하여 율-왜곡 비용을 계산하는 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 잔차 신호에 대한 주파수 변환, 양자화를 수행하여 율-왜곡 비용을 계산하는 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 잔차 신호에 대한 주파수 변환, 양자화 및 엔트로피 부호화를 수행하여 율-왜곡 비용을 계산하는 단계;
   상기 움직임 추정 단계에서의 선택적 율-왜곡 최적화 단계를 특징으로 하는 부호화 방법
   

Images