KR20170133026A

KR20170133026A - 정방형 또는 직방형 블록 분할을 사용하는 비디오 복호화 방법 및 장치

Info

Publication number: KR20170133026A
Application number: KR1020160063938A
Authority: KR
Inventors: 류호찬
Original assignee: 디지털인사이트 주식회사
Priority date: 2016-05-25
Filing date: 2016-05-25
Publication date: 2017-12-05
Also published as: WO2017204398A1

Abstract

본 발명은 비디오 압축 기술 중 블록 분할 기술에 있어, 정방형 또는 직방형 블록 분할 방법을 사용하여 부호화/복호화 효율을 향상시키는 방법 및 장치에 관한 것이다.

Description

정방형 또는 직방형 블록 분할을 사용하는 비디오 복호화 방법 및 장치 {METHOD AND APPARATUS OF VIDEO DECODER USING SQURE OR RECTANGLE SHAPE BLOCK PARTITION}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 정방형 또는 직방형의 블록 분할을 사용하는 비디오 복호화 방법 및 장치에 관한 것이다.

고해상도 비디오에 대한 시장의 수요가 증가하고 있으며, 이에 따라 고해상도 영상을 효율적으로 압축할 수 있는 기술이 필요하다. 이러한 시장의 요구에 따라 ISO/IEC의 MPEG (Moving Picture Expert Group)과 ITU-T의 VCEG (Video Coding Expert Group)이 공동으로 JCT-VC (Joint Collaborative Team on Video Coding)를 결성하여, HEVC (High Efficiency Video Coding) 비디오 압축 표준을 2013년 1월에 개발을 완료했으며, 차세대 압축 표준에 대한 연구 및 개발을 활발히 진행해오고 있다. HEVC에서는 쿼드 트리 형태의 코딩 유닛 (coding unit, CU) 분할 구조를 사용하며, CU로부터 분할되는 예측 블록 (prediction uint, PU)과 변환 유닛(transform unit, TU)를 사용한다. 차세대 압축 표준에서는 고해상도/고화질 비디오 서비스를 위해서는 좀 더 향상되고 효율적인 블록 분할 방법이 중요하다.

본 발명의 일부 실시예는 비디오 압축 기술에서 정방형 또는 직방형 블록 분할 구조를 사용하는 방법 및 장치를 제공하는 것을 그 목적으로 한다.

다만 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 장치 및 방법은 비트스트림으로부터 블록 분할을 위한 정보를 추출하는 단계, 상기 추출한 정보를 이용하여 정방형 또는 직방형 블록 분할을 수행하는 단계, 상기 분할된 블록 단위로 복호화를 수행하는 단계를 포함한다.

본 발명은 부호화/복호화 효율 향상을 위하여 기존의 비디오 압축 기술에서 사용하는 블록 분할 구조와 달리, 정방형 또는 직방형 블록 분할 구조를 사용하는 방법 및 장치를 제공하는 것을 그 목적으로 한다.

전술한 본 발명의 해결 수단에 의하면, 정방형 또는 직방형 블록 분할 구조를 사용하여 부호화기/복호화기의 효율을 향상시켜 비디오의 압축 성능을 향상 시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 구조를 사용하는 복호화 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 분할된 하나의 기본 처리 블록을 도시한다.
도 3은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용하여 분할된 하위 처리 블록들을 트리의 형태로 표현한 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 복호화기로 전달되는 정보를 나타낸다.
도 5는 본 발명의 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 위한 상위 수준 신택스 (high-level syntax) 중 슬라이스 세그먼트 헤더에 의하여 정방형 또는 직방형 블록 분할 정보를 시그널링하는 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 복호화기에서 직방형 블록 분할을 하는 순서를 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 직방형 하위 처리 블록을 예측 단위, 변환 단위, 양자화 단위, 스캔 단위로 사용하는 경우를 도시한다.

하기는 본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.

또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.

이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 구조를 사용하는 복호화 장치를 도시한다.

정방형 또는 직방형 블록 분할 구조를 사용하는 복호화 장치는 엔트로피 복호화부(110), 역양자화부(120), 역변환부(130), 화면 내 예측부(140), 화면 간 예측부(150), 인루프 필터부(160), 복원 영상 저장부(170) 중 적어도 하나를 포함할 수 있다.

엔트로피 복호화부(110)는 입력된 비트스트림(100)을 복호화하여 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 복호화 정보를 출력한다. 출력되는 정보에는 정방형 또는 직방형의 블록 분할을 위한 정보가 포함될 수 있다.

역양자화부(120) 및 역변환부(130)는 양자화 계수를 수신하여 역양자화 및 역변환을 차례대로 수행하고, 잔차 신호(residual signal)를 출력한다.

화면 내 예측부(140)는 복호화되는 현재 블록과 인접하는 기 복호화된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행하여 예측 신호를 생성한다.

화면 간 예측 부(150)는 비트스트림으로부터 추출된 움직임 벡터와 복원 영상 저장부(170)에 저장되어 있는 복원 영상을 이용하여 움직임 보상을 수행하여 예측 신호를 생성한다.

화면 내 예측부(140)와 화면 간 예측부(150)로부터 출력된 예측 신호는 잔차신호와 합산되며, 합산을 통해 생성된 복원된 영상은 인루프 필터부(160)로 전달된다.

인루프 필터부(160)에서 필터링이 적용된 복원 픽쳐는 복원 영상 저장부(170)에 저장되며, 화면 간 예측부(150)에서 참조 픽쳐로 사용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 분할된 하나의 기본 처리 블록을 도시한다.

영상은 동일 크기 또는 서로 다른 크기의 다수의 기본 처리 블록으로 분할될 수 있으며, 각 기본 처리 블록은 정방형 또는 직방형의 하위 처리 블록으로 분할될 수 있다.

도 2와 같이 기본 처리 블록은 210과 같이 정방형의 하위 처리 블록들로 분할 될 수 있으며, 220과 같이 정방형으로 분할된 블록으로부터 M?N 의 크기를 가지는 직방형의 하위 처리 블록으로 분할 될 수 있다.

기본 처리 블록으로부터 분할된 정방형 또는 직방형의 하위 처리 블록은 추가적인 분할 없이 예측 단위, 변환 단위, 양자화 단계를 위한 단위, 스캔 단계를 위한 단위로 사용될 수 있다.

복원 단계가 끝난 영상에 대하여 디블록킹 필터(deblocking filter)를 수행할 때, 디블록킹 필터 수행 후보가 되는 경계는 정방형 또는 직방형으로 분할된 블록들간의 경계가 될 수 있다.

SAO (sample adaptive offset) 또는 ALF (adaptive loop filter)와 같은 인-루프 필터는 정방형 또는 직방형의 하위 처리 블록 단위로 다르게 수행되거나, 정방형 또는 직방형의 하위 처리 블록 단위로 필터의 수행 여부가 결정될 수 있다.

도 3은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용하여 분할된 하위 처리 블록들을 트리(tree)의 형태로 표현한 예를 나타낸다.

도 3의 (a)는 블록 분할을 표현하기 위한 쿼드 트리와 바이너리 트리를 나타낸다. (b)는 트리 (a)와 같이 분할된 블록 분할 형태를 나타낸다. 트리 (a)에서 블록이 쿼드 트리로부터 바이너리 트리로 분할될 때, 수평 방향으로 분할되면 0, 수직 방향으로 분할되면 1로 표현하였다.

바이너리 트리 형태의 블록 분할에서, 수평 방향 또는 수직 방향의 분할에 대한 정보는 플래그 형태로 복호화기로 전달될 수 있다. 복호화기에서는 비트스트림에 플래그 형태로 포함되어있는 수평 방향 또는 수직 방향 분할에 대한 정보를 추출하여 복원 단계어서 직방형 블록 분할을 위해 사용한다.

도 4는 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 복호화기로 전달되는 정보를 나타낸다.

부호화기에서는 블록 분할 정보를 효과적으로 복호화기로 전달하기 위해 직방형으로 분할된 하위 처리 블록의 최대 크기와 정방형으로 분할된 하위 처리 블록의 최소 크기를 복호화기로 전달할 수 있다.

복호화기는 전달받은 직방형으로 분할된 하위 처리 블록의 최대 크기와 정방형으로 분할된 하위 처리 블록의 최소 크기를 이용하여 복원 단계에서 효과적인 블록 분할을 수행할 수 있다.

도 5는 본 발명의 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 위한 상위 수준 신택스 (high-level syntax) 중 슬라이스 세그먼트 헤더에 의하여 정방형 또는 직방형 블록 분할 정보를 시그널링하는 방법을 도시한다.

제안하는 블록 분할 방법은 압축된 비트스트림 내에 존재하는 NAL (Network Abstract Layer) 중 슬라이스 세그먼트 헤더 (510) 내에서 직방형 블록 분할을 위한 정보 'max_rectangle_unit_size'와 'min_square_unit_size'를 포함할 수 있다. max_rectangle_unit_size'는 직방형으로 분할된 블록의 최대 크기를 의미하며, min_square_unit_size'는 정방형으로 분할된 블록의 최소 크기를 의미한다.

도 6은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 복호화기에서 직방형 블록 분할을 하는 순서를 나타낸 순서도이다.

정방형 블록으로부터 분할되는 직방형 블록의 분할과정은 다음과 같다. 먼저 직방형 블록 분할 모드를 추출(610)한다. 직방형 블록 분할 모드는 직방형 블록이 수평 방향으로 분할되었는지 수직 방향으로 분할되었는지를 나타내는 플래그이다. 블록 분할 모드가 0인지를 판단(620)하여, 블록 분할 모드가 0이면 수평 방향 분할(630)을 수행하고, 블록 분할 모드가 0이 아니면 수직 방향 분할(640)을 수행한다. 그리고 분할된 현재 직방형 블록의 크기가 직방형 최소 블록 크기보다 큰지를 판단(650)하여, 직방형 최소 블록 크기보다 현재의 직방형 블록의 크기가 크다면 610 ~ 640의 과정을 반복한다. 직방형 최소 블록 크기보다 현재 직방형 블록의 크기가 작다면 직방형 블록 분할을 종료한다.

도 7은 본 발명의 일 실시예에 따른 정방형 또는 직방형 블록 분할 방법을 사용할 때, 직방형 하위 처리 블록을 예측 단위, 변환 단위, 양자화 단위, 스캔 단위로 사용하는 경우를 도시한다.

정방형 블록으로부터 분할된 직방형 하위 처리 블록은 추가적인 분할 없이 예측 단위, 변환 단위, 양자화 단계를 위한 단위, 스캔 단계를 위한 단위로 사용될 수 있다.

직방형 하위 처리 블록 단위로 예측을 수행하여 움직임 보상을 수행할 수 있고, 직방형 하위 처리 블록 단위 M×N 변환이 사용될 수 있다. 도 7에서 영역 710 이외의 정방형 블록들에 대해서는 N×N 변환이 사용되며, 영역 710의 직방형 블록들에 대해서는 M×N 변환이 사용된다. 또한, 직방형 하위 처리 블록 단위로 양자화 및 양자화 계수에 스캔이 수행될 수 있다.

해당 없음

Claims

비디오 복호화 방법에 있어서,
비트스트림으로부터 블록 분할을 위한 정보를 추출하는 단계;
상기 추출한 정보를 이용하여 정방형 또는 직방형 블록 분할을 수행하는 단계; 및
상기 분할된 블록 단위로 복호화를 수행하는 단계를 포함하는 비디오 복호화 방법.