KR20180057788A - 장면 전환에 따른 주관적 율 제어 방법 및 부호화 장치 - Google Patents

Abstract

본 발명은 입력 영상 내 장면 전환이 일어난 경우에의 비디오 부호화에 있어 율 제어 알고리즘에서의 인지 화질을 고려하기 위해 GOP 내 장면 전환이 일어난 경우, 장면 전환이 일어난 픽처의 이전과 이후의 인지 시각적 중요도를 계산하여 이에 따라 적응적으로 비트 분배를 수행할 수 있으며, 경우에 따라 인지 화질을 향상 시킬 수 있다.

Description

장면 전환에 따른 주관적 율 제어 방법 및 부호화 장치 {METHOD AND APPARATUS FOR SCENE CHANGE USING PERCEPTUAL RATE CONTROL}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 영상 내 장면 전환이 일어난 경우에 영상의 특징 및 인지 시각적 특징을 이용하여, 인지 화질을 높이는 방법에 관한 것이다.

최근 FHD (Full High Definition) 및 UHD (Ultra High Definition) 와 같은 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다. 이런 시장의 요구에 따라 MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 2010년 JCT-VC (Joint Collaborative Team on Video Coding)를 구성한 후 HEVC (High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발을 시작하여, 2013년 1월 HEVC version1 표준 기술의 개발이 완료되었으며, HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 동일 주관적 화질 기준으로 약 50%의 압축 효율 향상을 달성하였다.

본 발명의 일부 실시예는 영상의 부호화 단계에서 율 제어 시, 율-왜곡 비용 계산을 위한 왜곡을 계산할 때 주관적 화질을 고려할 수 있는 율 제어 알고리즘을 가진 부호화 방법 및 장치를 제공하는 것을 그 목적으로 한다. 다만 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 부호화 장치는 영상에 대한 부호화를 수행할 때의 율 제어 시, 영상 내 장면 전환이 존재하는지 확인하기 위한 장면 전환 확인 단계를 거치고, 장면 전환이 일어나는 경우, 인지 시각적 중요도에 따라 비트 분배를 적응적으로 수행한다. 본 발명에서는 인지 시각적 중요도를 계산하기 위하여 주관적 화질 측정 방법을 사용함으로써 영상 부호화의 결과로 인지 화질을 향상시킬 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 부호화기 내 율 제어 알고리즘에서 비트를 분배할 시, 장면 전환의 발생의 유무에 따라 GOP 내에 존재하는 다수의 픽쳐에 인지 시각적 중요도에 따른 적응적 비트 분배를 수행할 수 있다. 이를 통하여 부호화기에서는 상황에 따라 인지 화질을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 부호화 과정의 전체적 흐름을 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화기의 블록도를 도시한다.
도 3은 본 발명의 일실시 예에 따른 부호화 과정에서의 율 제어 알고리즘의을 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 장면 전환이 발생한 GOP의 구조의 예를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 율 제어를 수행하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)들로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 코딩유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽처라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 부호화 과정의 전체적 흐름을 도시한다.

인지 화질을 고려하여 장면 전환이 일어난 입력 영상의 부호화를 수행하는 비디오 부호화 장치 및 방법으로는 부호화를 수행할 입력 영상을 입력 받은 이후, 입력 영상의 장면 전환 유무 확인을 수행하여, 장면 전환이 일어난 경우에 GOP 내 장면 전환이 일어난 픽처 전 후 픽처들에 대해 인지 시각적 중요도를 계산하고, 이에 따라 비트 분배를 재설정하여 부호화할 수 있다. 이하 입력 영상의 장면 전환 확인 후의 영상 부호화 단계 결정 및 결정된 영상 부호화 단계를 통해 입력 영상이 부호화 되는 과정을 상술한다.

일 실시예에 따른 부호화 장치는 영상 입력부(101), 입력 영상의 장면 전환 확인부(102), 장면 전환의 유무에 따른 GOP 내 인지 시각적 중요도 비교부(103), 계산된 인지 시각적 중요도에 따른 비트 분배 재설정부(104) 및 영상 부호화부(105)를 포함한다.

일 실시예에 따른 부호화 장치는 영상 입력부(101)를 통해 부호화를 수행할 영상을 입력 받을 수 있다. 이후, 입력 영상은 영상 내 장면 전환 이벤트 발생 유무를 확인하여, 부호화 단계를 결정하고 이에 따라 최적화된 부호화를 수행한다.

입력 영상의 장면 전환 확인부(102)는 전달 받은 입력 영상의 장면 전환의 유무를 확인하는 단계로써, 장면 전환이 일어났을 경우에는 비교부(103)에서 GOP 내 장면 전환이 일어난 픽처를 기준으로 이전 픽처들과 이후 픽처들의 인지 시각적 중요도 비교를 수행한다. GOP 내 인지 시각적 중요도를 계산하여 비교가 끝나면, 비교 결과에 따라 비트 분배를 재설정하는 과정(104)을 거치고, 결과에 따라 GOP 내 각 픽처에 비트 할당을 재수행하여 영상 부호화(105)를 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화기의 블록도를 도시한다.

도 2에 따르면, 부호화 장치는 장면 전환 검출기(202), 화면 내 예측부(211), 화면 간 예측부(210), 변환부(203), 양자화부(204), 엔트로피 부호화부(213), 역 양자화부(205), 역 변환부(206), 디블록킹부(207), 샘플 적응적 오프셋부(208), 그리고 참조영상버퍼(209) 등을 포함할 수 있다. 부호화 장치의 입력은 입력영상(201)으로, 출력은 비트스트림(214)과 출력비디오(212)를 포함할 수 있다.

일반적으로 적용되는 율 제어 알고리즘은 GOP, 픽처, CTU 단위로 비트를 분배하여 율 제어를 수행한다. 본 발명에서는 주관적 화질을 고려하기 위해서 GOP에 할당된 비트를 픽처 단위로의 분배를 수행할 때, 주관적 화질 기반의 비트 분배를 수행한다. 이 단계를 통해 영상에 대한 율 제어 수행 시, 율 제어 알고리즘에 따른 픽처 에의 비트 분배에서 주관적 화질을 고려할 수 있고, 주관적 화질을 향상시킬 수 있을 것이다. 이는 입력 영상이 장면 전환이 포함된 영상이 경우에도 적용할 수 있다.

영상 부호화기는 영상을 입력받게 된 후에 해당 영상을 압축함에 있어 장면 전환 등과 같은 영상 이벤트는 고려하지 않고 바로 영상 부호화를 시작한다. 하지만, 장면 전환이 일어난 경우에도 주관적 화질을 향상시키기 위한 율 제어를 수행할 수 있고, 본 발명에서 이에 대해 소개한다. 도 2에서 그려진 바와 같이, 입력 영상에 대한 장면 전환 검출을 수행하고, 해당 영상이 장면 전환이 포함된 영상인지 아닌지를 확인하는 과정을 영상 부호화의 전체 블록도에 포함시킬 수 있다.

도 3은 본 발명의 일실시 예에 따른 부호화 과정에서의 율 제어 알고리즘의을 블록도를 도시한다.

주관적 화질을 고려하는 비디오 부호화 장치 및 방법으로는 부호화를 수행할 입력 영상을 받은 이후 부호화를 수행하고, 율 제어 단계를 거쳐 최종 생성되는 양자화 파라미터를 통해 영상을 부호화 할 수 있다. 이 때, 율 제어 단계를 거치면서 부호화된 영상에 대해 발생한 비트율과 버퍼 제한 파라미터를 통해 비트를 분배하는 과정에서 주관적 화질을 고려할 수 있으며, 이 단계를 통해 영상 부호화 수행 시, 율 제어 알고리즘에 따른 율 왜곡 비용 계산에 대해 주관적 화질 측정 방법을 사용한다. 이하 입력 영상의 율-왜곡 비용 계산과 이를 통한 비트 분배 결정 및 영상 부호화 단계를 통해 입력 영상의 율 제어가 수행되는 과정을 상술한다.

일 실시예에 따른 부호화 장치는 율 제어(301) 알고리즘 내에 포함된 인지 화질을 고려한 비트 분배 모델(302), 복잡도 계산(303), 양자화 모델(304)과 부호화기(309), 가상 참조 복호화기(311)을 포함하며, 이들은 목표 비트율(305), 복원 영상(306), 양자화 파라미터(307), 입력 영상(308), 결과 비트스트림(310), 발생 비트율과 버퍼 제한 파라미터(312) 의 입력 값을 통해 동작한다.

입력 영상(308)은 장면 전환을 포함할 수 있으며, 입력영상(308)을 입력 받은 부호화기(309)에서 생성한 결과 비트스트림(310)을 가상 참조 복호화기(311)의 결과로 발생한 발생 비트율과 버퍼 제한 파라미터(312)가 율 제어(301)의 입력으로 설정된다. 또한, 부호화기(309)의 결과인 복원 영상(306)이 입력 영상(308)과 함께 복잡도 계산(303)단계의 입력으로 설정되어 복잡도가 계산된 결과가 인지 화질을 고려한 비트 분배 모델(302)의 입력으로 설정된다.

율 제어(301)는 전달받은 발생 비트율과 버퍼 제한 파라미터(312), 복잡도 계산(303) 단에서의 계산 결과와 입력 값으로 설정된 목표 비트율(305)을 통해 인지 화질 고려한 비트 분배 모델(302)에서 비트 분배를 수행한다.

이 때, 율 제어(301) 과정 중 인지 화질을 고려한 비트 분배 모델(302)에서는 목표 비트율(305)을 사용하면서 최고의 화질을 얻기 위해 율 왜곡 최적화를 수행하고 율 왜곡 비용(RD-Cost)을 계산하는데, 왜곡을 계산하기 위해 화질을 측정한다. 인지 화질과 상관도를 높이기 위해 기존에 사용하던 객관적 화질 측정 방법 대신 주관적 화질 측정을 수행한다. 인지 화질을 고려한 비트 분배 모델(302)에서 수행하는 주관적 화질 측정 방법에 따른 비트 분배는 GOP 내에 존재하는 각 픽쳐가 가지는 인지 시각적 중요도를 고려하여 수행할 수 있다.

인지 화질을 고려한 비트 분배 모델(302)을 통해 결정된 비트 분배 결과를 양자화 모델(304)로 전달해 주면, 양자화 모델(304)에서는 이를 통해 최종 양자화 파라미터(307)를 결정해 다시 부호화기(309)로 전달해준다. 양자화 파라미터(307)를 전달받은 부호화기(309)는 최종적으로 부호화를 수행하고 부호화 과정이 마무리된다.

도 4는 본 발명의 일 실시예에 따른 장면 전환이 발생한 GOP의 구조의 예를 도시한다.

일반적인 부호화 장치는 참조 픽처를 이용하지 않고 화면 내 예측을 실시하는 I프레임, 먼저 부호화된 하나의 픽처만 참조하여 화면 간 예측을 수행하는 P 프레임과 이미 부호화된 두 픽처를 참조하여 화면 간 예측을 실시하는 B프레임을 포함할 수 있다. 일반적으로 영상 부호화는 시간 방향의 상관 특성을 이용하여 다음과 같이 GOP를 구성하여 부호화를 수행할 수 있다. 도 4에 따르면, 픽처 0번부터 8번까지로 구성되며, 픽처 5번에서 장면 전환이 일어나더라도 주관적인 화질을 고려하여, 장면 전환 이전과 이후 픽처에 할당될 비트 분배는 큰 차이 없이 이루어진다. 하지만, 주관적 화질을 고려하기 위해서는 GOP 내에서 장면 전환이 일어난 픽처를 기준으로 이전 픽처들과 이후 픽처들의 인지 시각적 중요도를 비교하여 비트 분배를 달리 할 수 있다. 예를 들어 도 4의 픽처 5번을 기준으로 이전 픽처들의 인지 시각적 중요도와 이후 픽처들의 인지 시각적 중요도를 비교했을 때, 이전 픽처들의 인지 시각적 중요도가 더 높게 측정되었다면, 이에 따라 이후 픽처들보다 이전 픽처들에 더 많은 비트 분배를 수행할 수 있고, 이는 인지 화질을 향상시킬 수 있다.

해당없음

Claims (2)

1. 비디오 부호화 장치에 있어서,
   영상 입력부;
   상기 입력된 영상에 대해 장면 전환을 판단할 수 있는 장면 전환 판단부;
   인지 화질 향상을 위해 상기 장면 전환이 일어난 픽처를 기준으로 이전과 이후 영상들의 인지 시각적 중요도 계산부;
   상기 계산된 인지 시각적 중요도에 따른 GOP 내 픽처에의 비트 분배부;
   상기 주관적 화질을 고려한 비트 분배부를 통해 율 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 장치
2. 비디오 부호화 방법에 있어서,
   영상 입력 단계;
   상기 입력된 영상에 대해 장면 전환을 판단할 수 있는 장면 전환 판단 단계;
   인지 화질 향상을 위해 상기 장면 전환이 일어난 픽처를 기준으로 이전과 이후 영상들의 인지 시각적 중요도 계산 단계;
   상기 계산된 인지 시각적 중요도에 따른 GOP 내 픽처에의 비트 분배 단계;
   상기 주관적 화질을 고려한 비트 분배부를 통해 율 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 장치

Images