KR20180021945A - 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 부호화에 있어, 율 제어 알고리즘에서의 율-왜곡 최적화를 위한 율-왜곡 비용 계산 단계에서 왜곡을 계산하기 위해 화질 측정 수행 시 주관적 화질 측정을 통한 율-왜곡 비용 계산에 의하여 인지 화질을 향상시킬 수 있다.

Description

인지 화질 향상을 위한 주관적 율 제어 방법 및 장치{METHOD AND APPARATUS FOR PERCEPTUAL VISUAL QUALITY IMPROVEMENT BY USING SUBJECTIVE RATE CONTROL}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 영상의 특징 및 인지 시각적 특징을 이용하여, 인지 화질을 높이기 방법에 관한 것이다.

최근 FHD (Full High Definition) 및 UHD (Ultra High Definition) 와 같은 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다. 이런 시장의 요구에 따라 MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 2010년 JCT-VC (Joint Collaborative Team on Video Coding)를 구성한 후 HEVC (High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발을 시작하여, 2013년 1월 HEVC version1 표준 기술의 개발이 완료되었으며, HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 동일 주관적 화질 기준으로 약 50%의 압축 효율 향상을 달성하였다.

본 발명의 일부 실시예는 영상의 부호화 단계에서 율 제어 시, 율-왜곡 비용 계산을 위한 왜곡을 계산할 때 주관적 화질을 고려할 수 있는 율 제어 알고리즘을 가진 부호화 방법 및 장치를 제공하는 것을 그 목적으로 한다. 다만 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 부호화 장치는 영상에 대한 부호화를 수행할 때의 율 제어 시, 율-왜곡 비용을 계산하기 위한 왜곡을 계산하는 단계에서 주관적 화질을 측정하여 객관적 화질보다 인지 화질과의 상관도를 높여 부호화를 수행한다. 입력 영상에 대한 부호화 시 여러 환경에 따라 율 제어를 수행하고 이 때 율 왜곡 최적화를 위해 율 왜곡 비용 (RD-Cost)을 계산한다. 본 발명에서는 율 왜곡 비용 계산 시 주관적 화질 측정 방법을 사용함으로써 영상 부호화의 결과로 인지 화질을 향상시킬 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 부호화기 내 율 제어 알고리즘에서의 율-왜곡 비용 계산을 위해 필요한 왜곡 계산 시 주관적 화질을 고려하여 화질을 측정함으로써, 율 제어 알고리즘 수행 시 인지 시각적 중요도에 따라 각 픽처와 CTU 별 비트 분배를 적응적으로 수행할 수 있다. 이를 통하여 부호화기에서는 상황에 따라 인지 화질을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 부호화 과정에서의 율 제어 알고리즘을 도시한다.
도 2는 본 발명의 일 실시예에 따른 율 제어 과정의 전체 흐름도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 율 제어 과정에 있어서의 주관적 화질을 고려하는 픽처 레벨의 비트 분배 수행 단계의 흐름을 도시한다.
도 4는 본 발명의 일 실시예에 따른 율 제어 과정에 있어서의 주관적 화질을 고려하는 CTU 레벨의 비트 분배 수행 단계의 흐름을 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 율 제어를 수행하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 코딩유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시 예에 따른 부호화 과정에서의 율 제어 알고리즘을 도시한다.

주관적 화질을 고려하는 비디오 부호화 장치 및 방법으로는 부호화를 수행할 입력 영상을 받은 이후 부호화를 수행하고, 율 제어 단계를 거쳐 최종 생성되는 양자화 파라미터를 통해 영상을 부호화 할 수 있다. 이 때, 율 제어 단계를 거치면서 부호화된 영상에 대해 발생한 비트율과 버퍼 제한 파라미터를 통해 비트를 분배하는 과정에서 주관적 화질을 고려할 수 있으며, 이 단계를 통해 영상 부호화 수행 시, 율 제어 알고리즘에 따른 율 왜곡 비용 계산에 대해 주관적 화질 측정 방법을 사용한다. 이하 입력 영상의 율-왜곡 비용 계산과 이를 통한 비트 분배 결정 및 영상 부호화 단계를 통해 입력 영상의 율 제어가 수행되는 과정을 상술한다.

일 실시예에 따른 부호화 장치는 율 제어(101) 내에 포함된 S-JND 모델을 고려한 비트 분배 모델(102), 복잡도 계산(103), 양자화 모델(104)과 부호화기(109), 가상 참조 복호화기(111)을 포함하며, 이들은 목표 비트율(105), 복원 영상(106), 양자화 파라미터(107), 입력 영상(108), 결과 비트스트림(110), 발생 비트율과 버퍼 제한 파라미터(112) 의 입력 값을 통해 동작한다.

입력 영상(108)을 입력 받은 부호화기(109)에서 생성한 결과 비트스트림(110)을 가상 참조 복호화기(111)의 결과로 발생한 발생 비트율과 버퍼 제한 파라미터(112)가 율 제어(101)의 입력으로 설정된다. 또한, 부호화기(109)의 결과인 복원 영상(106)이 입력 영상(108)과 함께 복잡도 계산(103)단계의 입력으로 설정되어 복잡도가 계산된 결과가 S-JND 모델을 고려한 비트 분배 모델(102)의 입력으로 설정된다.

율 제어(101)는 전달받은 발생 비트율과 버퍼 제한 파라미터(112), 복잡도 계산(103) 단에서의 계산 결과와 입력 값으로 설정된 목표 비트율(105)을 통해 S-JND 모델을 고려한 비트 분배 모델(102)에서 비트 분배를 수행한다.

이 때, 율 제어(101) 과정 중 S-JND 모델을 고려한 비트 분배 모델(102)에서는 목표 비트율(105)을 사용하면서 최고의 화질을 얻기 위해 율 왜곡 최적화를 수행하고 율 왜곡 비용(RD-Cost)을 계산하는데, 왜곡을 계산하기 위해 화질을 측정한다. 인지 화질과 상관도를 높이기 위해 기존에 사용하던 객관적 화질 측정 방법 대신 주관적 화질 측정을 수행하기 위해 비트 분배 시에 S-JND 모델을 고려한다. S-JND 모델을 고려한 비트 분배 모델(102)에서 수행하는 주관적 화질 측정 방법에 따른 비트 분배는 S-JND 모델에 의한 비트 결정 단계(300)를 설정하여 수행할 수 있다.

S-JND 모델을 고려한 비트 분배 모델(102)을 통해 결정된 비트 분배 결과를 양자화 모델(104)로 전달해 주면, 양자화 모델(104)에서는 이를 통해 최종 양자화 파라미터(107)를 결정해 다시 부호화기(109)로 전달해준다. 양자화 파라미터(107)를 전달받은 부호화기(109)는 최종적으로 부호화를 수행하고 부호화 과정이 마무리된다.

도 2는 본 발명의 일 실시예에 따른 율 제어 과정의 전체 흐름도를 도시한다.

일반적으로 적용되는 율 제어 알고리즘은 GOP, 픽처, CTU 단위로 비트를 분배하여 율 제어를 수행한다. 본 발명에서는 주관적 화질을 고려하기 위해서 GOP에 할당된 비트를 픽처 단위로의 분배를 수행할 때와 픽처에 할당된 비트를 CTU 단위로 분배해 줄 때, 주관적 화질 기반의 비트 분배를 수행한다. 이 단계를 통해 영상에 대한 율 제어 수행 시, 율 제어 알고리즘에 따른 픽처와 CTU에의 비트 분배에서 주관적 화질을 고려할 수 있고, 주관적 화질을 향상시킬 수 있을 것이다. 이하 일 실시예에 따른 율 제어 과정의 전체 흐름도를 통해 율 제어에 있어서 주관적인 화질을 고려할 수 있는 방법에 대해 상술한다.

영상의 율 제어 과정에 있어 하나의 영상에 대한 목표 비트율이 설정되고, 이를 이용하여 R-lambda 모델(201)을 거치면 부호화 파라미터가 생성된다. 부호화 파라미터를 전달받은 픽쳐 레벨의 비트 분배(202)단계에서는 이를 이용하여 GOP에 할당된 BitsGOP(208)를 픽쳐 레벨로 분배하고, 계산을 통해 결정된 픽쳐에 할당된 비트(209)를 픽쳐 부호화(204) 단계로 넘겨주면, 픽쳐 부호화(204) 단계에서는 픽쳐에 할당된 비트(209)를 가지고 픽쳐에 해당하는 부호화를 시작한다. 픽쳐의 부호화를 시작하면, 픽쳐 레벨에서는 다시 CTU 단위로 비트를 분배해 주게 된다. 이 때 본 발명에서는 픽처 레벨의 비트 분배(202)와 CTU 레벨의 비트 분배(203) 시에 주관적인 화질 기반의 비트 분배를 수행한다. 주관적인 화질 기반의 비트 분배를 수행하기 위해서, 픽처 레벨의 비트 분배(202) 시에, 처음 설정 값으로 설정 된 BitsGOP(208)와 R-lambda 모델(201)에서 전달 받은 부호화 파라미터(211)와 함께, 주관적 화질 기반의 비트 분배를 수행한다. 이를 통해 픽처에 할당된 비트(209)를 이용한 픽쳐 부호화(204)단계에서는 해당 CTU를 부호화 하는데 참고할 남은 비트를 전달해주고, R-lambda 모델(201)에서는 생성된 부호화 파라미터(210)를 전달한다. 이 두 가지를 이용하여 주관적인 화질 기반의 비트 분배(203)를 통해 수정된 부호화 파라미터(212)가 생성되고, 이를 통해 CTU 부호화(205)를 수행한다. CTU 부호화(205)를 거쳐 하나의 CTU의 부호화 과정이 마무리되면, R-lambda 모델로 부호화 결과를 전달한다. R-lambda 모델에서는 이를 통해 부호화 파라미터를 업데이트 하고, 업데이트된 부호화 파라미터를 다시 주관적인 화질 기반의 비트 분배(203)에 참고할 수 있도록 이를 주관적 화질 기반의 비트 분배(203)단으로 넘겨주게 된다. 이러한 과정을 통해 비트 분배를 수행할 때 주관적인 화질을 고려할 수 있다.

도 3은 본 발명의 일 실시예에 따른 율 제어 과정에 있어서의 주관적 화질을 고려하는 픽처 레벨의 비트 분배 수행 단계의 흐름을 도시한다.

도 3을 참조하면, 율 제어 방법에 있어, 도 2에서 상술한 주관적인 화질 기반의 비트 분배 방법(202)을 포함하여 율 제어를 수행할 수 있으며, 본 발명의 일 실시예에 따른 율 제어 단계에서의 주관적인 비트 분배를 수행할 수 있다.

일 실시예에 따른 주관적 화질을 고려한 비트 분배 수행 단계는 GOP 부호화부(301), 해당 GOP가 가지는 S-JND 임계치 계산(302), 픽처 부호화부(303), 해당 픽처에 할당할 목표 비트량 계산(304), 픽처 부호화(305), GOP의 끝 판단(306), 다음 GOP 부호화(307) 단계로 구성할 수 있다.

보다 상세하게는, 율 제어 과정에 있어 현재 픽처의 부호화 전 단계에서 현재 픽처가 위치하는 GOP에 할당된 비트를 픽처 단위로의 비트 분배를 수행함에 있어서 주관적 화질을 고려하여 픽처에 해당하는 비트를 분배할 수 있다.

픽처에 비트를 분배할 때, GOP 부호화부(301)에서 해당 GOP에 해당하는 S-JND 임계치를 계산하고(302) 픽처 부호화부(303)로 넘어간다. 픽처 부호화부는 해당 픽처에 할당할 목표 비트량을 계산(304)하며 이때 픽처에 해당하는 S-JND 임계치와 미리 계산한 해당 픽처를 가지고 있는 GOP에 해당하는 S-JND 임계치(302)의 비율을 통해 픽처에 할당할 목표 비트량을 결정할 수 있다. 이 후, 픽처를 부호화(305)한다. 이 때 픽처 내에 존재하는 각 CU에 할당할 비트량은 다시 주관적인 화질 측정법을 통해 측정되는 비트 분배를 통해 결정하는데, 이는 도 4를 설명할 때 보다 자세히 설명한다.

이러한 과정을 거쳐 픽처에 해당하는 비트 분배를 수행하고 픽처의 부호화가 끝나면 하나의 GOP에 해당하는 부호화 과정이 모두 끝났는지를 확인하고(306), 끝난 경우에는 다음 GOP로 넘어가 다음 GOP의 부호화를 수행(307)하며, 하나의 GOP의 부호화가 끝나지 않은 경우에는 계속해서 GOP 내에 존재하는 픽처의 부호화(303)를 수행한다.

도 4는 본 발명의 일 실시예에 따른 율 제어 과정에 있어서의 주관적 화질을 고려하는 CTU 레벨의 비트 분배 수행 단계의 흐름을 도시한다.

도 4를 참조하면, 율 제어 방법에 있어, 도 2에서 상술한 CTU 레벨의 주관적인 화질 기반의 비트 분배 방법(203)을 포함하여 율 제어를 수행할 수 있으며, 본 발명의 일 실시예에 따른 율 제어 단계에서의 주관적인 비트 분배를 수행할 수 있다.

일 실시예에 따른 주관적 화질을 고려한 비트 분배 수행 단계는 픽처 부호화부(401), 해당 픽처가 가지는 S-JND 임계치 계산(402), CU 부호화(403), 해당 CU에 할당할 목표 비트량 계산(404), CU 내 화소에 할당할 비트량 계산(405), 픽처의 끝 판단(406), 다음 픽처 부호화(407) 단계로 구성할 수 있다.

보다 상세하게는, 율 제어 과정에 있어 현재 픽처가 위치하는 GOP에 할당된 비트를 픽처 단위로 분배 받고 난 후 현재 픽처의 부호화 단계에서 다시 CU 단위로의 비트 분배를 수행함에 있어서 주관적 화질을 고려하여 CU에 해당하는 비트를 분배할 수 있다.

CU에 비트를 분배할 때, 픽처 부호화 단계(401)에서 해당 픽처에 해당하는 S-JND 임계치를 계산하고(402) CU 부호화 단계(403)를 시작한다. CU 부호화는 해당 CU에 할당할 목표 비트량을 계산(404)하며 이때 CU에 해당하는 S-JND 임계치와 미리 계산한 해당 픽처에 해당하는 S-JND 임계치(402)의 비율을 통해 CU에 할당할 목표 비트량을 결정할 수 있다. 이 후, CU 내에 존재하는 각 화소에 할당할 비트량을 계산(405)한다. 이 때 CU 내에 존재하는 각 화소에 할당할 비트량은 CU가 가지는 화소의 개수로 목표 비트량을 나누어 결정한다.

이러한 과정을 거쳐 CU의 부호화를 수행하고 나면 하나의 픽처에 해당하는 부호화 과정이 모두 끝났는지를 확인하고(406), 끝난 경우에는 다음 픽처로 넘어가 다음 픽처의 부호화를 수행(407)하며, 하나의 픽처의 부호화가 끝나지 않은 경우에는 계속해서 픽처 내에 존재하는 CU의 부호화(403)를 수행한다.

해당 없음

Claims (2)

1. 비디오 부호화 장치에 있어서,
   영상 입력부;
   상기 율 제어부에서 주관적 화질을 고려하기 위한 비트 분배 과정에 있어 주관적 화질을 고려하기 위한 주관적 화질 측정부;
   상기 입력받은 입력 영상에 대한 율 제어 과정에 있어 율-왜곡 최적화 단계 중 왜곡을 계산하기 위한 주관적 화질을 고려한 픽처 레벨의 비트 분배부;
   상기 입력받은 입력 영상에 대한 율 제어 과정에 있어 율-왜곡 최적화 단계 중 왜곡을 계산하기 위한 주관적 화질을 고려한 CTU 레벨의 비트 분배부;
   상기 주관적 화질을 고려한 비트 분배부를 통해 율 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 장치
2. 비디오 부호화 방법에 있어서,
   상기 비디오 부호화를 수행하는 단계에서의 율 제어을 수행하는 단계;
   상기 화면 간 예측의 율 제어 단계에서의 율 왜곡 최적화 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 왜곡 계산 시 주관적 화질 측정법을 이용하여 율-왜곡 비용을 계산하는 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 율 왜곡 비용을 계산하여 픽처 레벨의 비트를 분배하는 단계;
   상기 선택적 율-왜곡 최적화 단계에서의 율 왜곡 비용을 계산하여 CTU 레벨의 비트를 분배하는 단계;
   상기 율 제어 단계에서의 주관적 화질을 고려하여 비트를 분배를 특징으로 하는 부호화 방법

Images