KR101756442B1

KR101756442B1 - 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치

Info

Publication number: KR101756442B1
Application number: KR1020110023490A
Authority: KR
Inventors: 송진한; 임정연; 김기백; 정제창
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2010-11-29
Filing date: 2011-03-16
Publication date: 2017-07-11
Also published as: WO2012074248A3; KR20120058379A; US9729872B2; CN103238333A; WO2012074248A2; US20130259128A1; CN103238333B

Abstract

본 발명의 실시예는 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명의 실시예는, 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 부호화하고 복호화하는 영상 부호화/복호화 방법 및 장치에 관한 것이다.

Description

인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치{Video Encoding/Decoding Method and Apparatus for Minimizing Redundancy of Intra Prediction Mode}

본 발명의 실시예는 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 인트라 부호화하는데 인트라 예측에 사용되는 모드 정보에 불필요하게 포함되어 있거나 중복되어 쓰이는 정보를 줄임으로써 부호화 효율을 향상시키고자 하는 인트라예측모드의 중복성을 최소화를 위한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.

동영상 데이터는 크기가 커서 저장하거나 전송하기 위해 압축하는 과정이 필요하다. 통상적으로 동영상 데이터를 부호화하는 경우, 동영상 데이터의 각 픽처를 블록 단위로 인트라 예측 또는 인터 예측, 변환, 양자화 및 엔트로피 코딩 등을 수행하여 부호화 한다. 특히 인트라 예측은 동영상에서 데이터의 중복성을 줄이기 위해 예측을 수행하는데 공간적 중복성을 이용하여 주변 블록으로부터 예측을 수행하는 인트라 예측을 사용하여 데이터의 중복성을 줄인다. 이때, 인트라예측모드 정보에 포함되어 있는 불필요한 정보나 중복되어 포함되어 있는 정보로 인해 압축 성능이 떨어지는 문제점이 있다.

이러한 문제점을 해결하기 위해 본 발명의 실시예는, 영상을 부호화하거나 복호화하는 데 있어서, 인트라예측모드 정보를 부호화할 때 모드 정보에 포함되어 있는 불필요하거나 중복되어 있는 정보를 줄임으로써 부호화 효율을 향상시키는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하고 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 부호화하는 영상 부호화기; 및 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 복원하고, 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화부; 및 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화부; 및 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

여기서, 상기 유사한 값을 갖는지 여부는, 상기 현재블록의 좌측블록의 인접화소의 유사성, 상기 현재블록의 좌측블록, 좌상측블록 및 상측블록의 인접화소들간의 유사성, 상기 현재블록의 상측블록과 우상측블록의 인접화소들의 유사성 등 이웃블록들 중에서 하나 이상의 유사성에 따라 판단할 수 있다.

상기 유사성은, 인접화소들의 통계적 평균특성을 이용하여 판단할 수 있으며, 예를 들어 분산값이 소정치 이하인 경우로 유사성을 판단할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재블록의 서브블록들을 상기 서브블록에 인접한 이웃블록의 화소를 이용하여 인트라예측 부호화하는 인트라예측 부호화부; 및 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부를 나타내는 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 부호화하는 예측모드 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

상기 인트라예측모드 정보는, 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는 경우, 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않은 서브블록의 갯수, 위치 및 실제 인트라예측모드에 대한 정보를 포함할 수 있다.

상기 인트라예측모드 정보는, 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않는 경우, 상기 서브블록별 인트라예측모드를 포함할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 비트스트림으로부터 인트라예측모드에 대한 정보를 복원하는 예측모드 복호화부; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 비트스트림으로부터 인트라예측모드를 복원하는 예측모드 복호화부; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 복원할 현재블록의 서브블록에 대한 인트라예측모드에 대한 정보를 복호하고, 상기 인트라예측모드에 대한 정보에 포함된 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지에 따라 인트라예측모드를 복원하는 예측모드 복호화부; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

상기 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치함을 나타내는 경우, 상기 인트라예측모드에 대한 정보는, 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않은 서브블록의 갯수, 위치 및 실제 인트라예측모드에 대한 정보를 포함할 수 있다.

상기 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않음을 나타내는 경우, 상기 인트라예측모드 정보는, 상기 서브블록별 인트라예측모드를 포함할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하고 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 부호화하는 영상 부호화단계; 및 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 복원하고, 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화단계; 및 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화단계; 및 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재블록의 서브블록들을 상기 서브블록에 인접한 이웃블록의 화소를 이용하여 인트라예측 부호화하는 인트라예측 부호화단계; 및 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부를 나타내는 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 부호화하는 예측모드 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 비트스트림으로부터 인트라예측모드에 대한 정보를 복원하는 예측모드 복호화단계; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 비트스트림으로부터 인트라예측모드를 복원하는 예측모드 복호화단계; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 복원할 현재블록의 서브블록에 대한 인트라예측모드에 대한 정보를 복호하고, 상기 인트라예측모드에 대한 정보에 포함된 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지에 따라 인트라예측모드를 복원하는 예측모드 복호화단계; 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 인트라예측모드 정보를 부호화할 때 부재 이웃블록이 존재하는 경우에는 부재이웃블록의 참조화소를 이용하는 인트라에측모드를 후보모드에서 제외함으로써 모드정보를 효율적으로 부호화할 수 있다.

또한, 인트라예측모드 정보를 부호화할 때 이웃화소들의 참조화소가 서로 유사한 값을 갖는 경우에는 유사한 참조화소를 인트라예측모드 정보는 하나로 통합하여 모드정보를 발생함으로써 모드정보의 부호화를 효율화할 수 있다.

그리고, 서브블록의 인트라예측모드가 MPM과 동일한 예측모드를 갖지 않는 서브블록의 갯수, 위치, 실제 인트라예측모드를 부호화하는 경우에 모드정보를 효율적으로 부호화할 수 있다.

아울러 상기의 부호화방법에 대응되는 복호화를 수행함으로써 효율적인 부호화에 대응하여 복호화를 수행할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 H. 264/AVC의 인트라 4×4 예측 모드를 나타낸 예시도이다.
도 3은 픽쳐 경계에 위치한 블록의 사용가능한 인트라예측모드 및 사용불가능한 인트라예측모드를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치(400)의 구성을 간략하게 나타낸 블록 구성도이다.
도 5는 현재 블록의 예측에 사용되는 이웃블록 중에서 화소값이 거의 비슷한 경우가 있는 경우를 예시한 도면이다.
도 7은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 예시한 도면이다.
도 8은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 나타내는 다른 예를 예시한 도면이다.
도 9는 4x4 서브블록의 위치를 이진화하는 테이블을 예시한 도면이다.
도 10은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 나타내는 또 다른 예를 예시한 도면이다.

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 인트라예측 부호화부 및 예측모드 부호화부(182)를 포함하여 구성될 수 있다. 본 발명의 인트라예측 부호화부는 예측부(110), 감산부(120), 변환부(130), 양자화부(140), 역양자화부(150), 역변환부(160), 가산부(170), 비트스트림 생성부(160), 디블록킹필터(190) 및 메모리(192)를 포함하여 구성될 수 있으며, 위의 구성 중 일부는 반드시 포함되지 않을 수 있으며, 구현에 따라 일부 또는 전부가 선택적으로 포함될 수 있다.

부호화하고자 하는 입력 영상은 블록(Block) 단위로 입력이 되는데, 본 발명에서, 블록은 M×N 형태일 수 있으며 M과 N은 다양한 크기를 가질 수 있으며, M과 N이 동일하거나 다를 수 있다.

예측부(110)는 영상에서 현재 부호화하고자 하는 대상 블록을 인트라 예측 또는 인터 예측 방식을 사용하여 예측하여 예측블록을 생성한다. 즉, 예측부(110)는 인트라 예측을 하는 경우, 영상에서 부호화하고자 하는 대상 블록의 각 화소의 화소값(Pixel Value)을 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 최적의 예측 모드란 인트라 예측을 위한 다양한 인트라 예측 모드(예를 들어, H.264/AVC에서는 인트라 8×8 예측과 인트라 4 X 4 예측 각각에서의 9 가지의 예측 모드와 인트라 16 X 16 예측에서의 4 가지의 예측 모드) 중 부호화 비용이 최소인 예측 모드가 결정될 수 있다.

도 2는 H. 264/AVC의 인트라 4×4 예측 모드를 나타낸 예시도이다. 도 2를 참조하면, 인트라 4×4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current)모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 모드 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다. 예측부(110)는 대상 블록의 블록 모드 또는 블록 크기에 따라 각 예측 모드의 부호화 비용을 계산하고 부호화 비용이 최소인 예측 모드를 최적의 인트라예측모드로서 결정할 수 있다.

감산부(120)는 부호화할 대상 블록(즉, 현재 블록)에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(120)는 부호화하고자 하는 대상 블록의 각 화소의 화소값과 예측부(110)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)를 포함하는 잔차 블록을 생성한다.

변환부(130)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(130)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축 성분으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.

양자화부(140)는 변환부(130)에 의해 잔차 블록이 주파수 영역으로 변환된 주파수 계수를 양자화(Quantization)한다. 여기서, 양자화부(140)는 변환된 잔차 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.

비트스트림 생성부(180)는 양자화 주파수 계수열을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.

또한, 비트스트림 생성부(180)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열 및 예측에 필요한 정보를 위한 비트열 등을 포함할 수 있다.

역양자화부(150)는 양자화부(140)에 의해 양자화된 주파수변환 블록을 역양자화(Inverse Quantization)한다. 즉, 역양자화부(150)는 양자화된 잔차 블록의 양자화 주파수 계수들을 역양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.

역변환부(160)는 역양자화부(150)에 의해 역양자화된 잔차 블록을 역 변환(Inverse Transform)한다. 즉, 역변환부(160)는 역양자화된 잔차 블록의 주파수 계수들을 역변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역변환부(160)는 변환부(130)에서 사용한 변환한 방식을 역으로 사용하여 역변환할 수 있다.

가산부(170)는 예측부(110)에서 예측된 예측 블록과 역변환부(160)에 의해 복원된 잔차 블록을 가산하여 대상 블록인 현재블록을 복원한다. 복원된 대상 블록은 디블록킹필터(190)를 거치게 되는데, 디블록킹필터(190)는 복원된 현재 블록을 디블록킹 필터링하여 블록 왜곡 등을 제거하며, 메모리(192)는 디블록킹 필터링한 현재 블록을 저장하여 대상 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용될 수 있다.

예측모드 부호화부(182)는 인트라예측모드에 대한 정보를 부호화한다. 예측모드 부호화부(182)는 비트스트림 생성부(180)와 별개의 모듈로 구현할 수도 있으나 비트스트림 생성부(180)와 결합되어 하나의 모듈로 구현될 수도 있다.

도 3은 픽쳐 경계에 위치한 블록의 사용가능한 인트라예측모드 및 사용불가능한 인트라예측모드를 예시한 도면이다. 도 3에서, 굵은 실선의 직선은 픽쳐 경계, 점선의 직선은 블록 경계를 나타내는데, 픽쳐 경계에 위치하는 현재 블록의 좌측블록과 좌상측블록은 인트라예측에 사용될 수 없으므로 실선 화살표는 사용가능한 예측 모드, 점선 화살표는 사용불가능한 예측 모드를 나타낸다.

현재블록에 이웃하는 블록의 화소를 이용하여 현재 블록을 예측하는 데 예측 모드에 따라 해당하는 이웃하는 블록이 존재하지 않거나 사용할 수 없는 경우라면 해당 방향의 인트라예측 모드는 사용할 수 없게 된다. 그런 경우에 해당하는 예측 모드를 후보군에 포함하여 인트라예측모드 정보를 생성하는 것은 불필요한 비트를 추가시키는 결과를 야기할 수 있다.

예측모드 부호화부(182)는 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 현재블록의 인트라예측모드를 부호화할 수 있다. 즉, 도 3에 도시한 바와 같이 부호화할 현재블록이 픽쳐 경계에 위치해 있어서 위에서 언급한 것과 같이 존재하지 않는 이웃블록(즉, 부재 이웃블록. 도 3의 경우 좌측블록 및 좌상측블록)이 존재하거나 이웃블록 중에 인트라예측에 사용할 수 없는 블록이 존재하는 경우라면 해당 방향의 인트라예측 모드는 사용할 수 없다. 도 3에서는 현재블록의 좌측블록과 좌상측블록이 존재하지 않으므로, 수직(Vertical) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 수직 왼쪽(Vertical-left) 모드 및 DC(Direct Current) 모드만 사용 가능하고, 수평(Horizontal) 모드, 대각선 오른쪽(Diagonal down-right) 모드, 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드 및 수평 위쪽(Horizontal-up) 모드는 사용할 수 없다. 그러나 사용할 수 없는 예측모드까지 후보모드 군에 포함시켜 인트라예측모드 정보를 생성하게 되면 인트라예측모드 정보에 불필요한 비트를 추가시키는 문제가 야기될 수 있다.

따라서, 도 3의 경우에 예측모드 부호화부(182)는 4개의 예측모드만 대상으로 인트라예측모드 정보를 생성함으로써 적은 비트를 사용하여 인트라예측모드를 부호화할 수 있다. 따라서, 주변 블록의 상황을 확인하여 사용할 수 없는 예측 모드가 존재함이 확인되는 경우 그에 해당하는 예측모드를 제외한 나머지 사용가능한 예측모드만을 후보군으로 하여 인트라예측모드 정보를 생성함으로써 부호화 효율을 높일 수 있다. 예를 들어, H.264/AVC와 같은 코덱의 경우 현재 블록의 예측모드를 좌측블록, 상측블록의 모드를 이용하여 예측하는데, 예측한 값이 실제 예측모드와 일치하는 경우에는 1비트를, 일치하지 않는 경우에는 4비트를 사용하여 부호화를 하지만, 도 3의 경우에 본 발명에서는 현재 블록의 예측모드를 좌측블록, 상측블록의 모드를 이용하여 예측하여, 예측한 값이 실제 예측모드와 일치하는 경우에는 1비트를, 일치하지 않는 경우에는 3비트만을 사용하여 부호화할 수 있어 부호화 효율을 높일 수 있다. 본 예는 H.264/AVC의 경우를 예를 든 것이며 본 발명이 H.264/AVC와 같은 경우의 예측모드 집합이 존재하는 경우에만 한정되지 않는다.

도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치(400)의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(400)는 인트라예측 복호화부 및 예측모드 복호화부(440)를 포함하여 구성될 수 있다. 여기서, 본 발명의 인트라예측 복호화부는 비트스트림 복호부(410), 역양자화부(420), 역변환부(430), 예측부(450), 가산부(460), 디블록킹필터(470) 및 메모리(480)를 포함하여 구성될 수 있으며, 위의 구성 중 일부는 반드시 포함되지 않을 수 있으며, 구현에 따라 일부 또는 전부가 선택적으로 포함될 수 있다.

비트스트림 복호부(410), 역양자화부(420), 역변환부(430), 예측모드 복호화부(440), 예측부(450), 가산부(460), 디블록킹필터(470) 및 메모리(480)를 포함하여 구성될 수 있다. 한편, 본 발명의 인트라예측 복호화부는 비트스트림 복호부(410), 역양자화부(420), 역변환부(430), 예측부(450), 가산부(460), 디블록킹필터(470) 및 메모리(480)를 포함하여 구성될 수 있다.

비트스트림 복호부(410)는 비트스트림을 복호화 하여 양자화 주파수 계수열을 추출하고 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 블록을 생성할 수 있다.

역양자화부(420)는 비트스트림 복호부(410)에서 복호된 양자화 주파수 계수를 역양자화하여 주파수계수 블록을 복원한다.

역변환부(430)는 역양자화부(420)에서 복원된 주파수계수 블록을 역변환하여 잔차블록을 복원한다.

역양자화부(420)와 역변환부(430)는 도 1을 통해 전술한 역양자화부(150)와 역 변환부(160)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.

예측모드 복호화부(440)는 비트스트림으로부터 인트라예측모드에 대한 정보를 복호한다. 예측모드 복호화부(440)는 비트스트림 복호부(410)와 별개의 모듈로 구현할 수 있으나, 비트스트림 복호부(410)와 결합되어 하나의 모듈로 구현될 수도 있다.

예측부(450)는 현재 블록에 인접한 주변 블록의 화소 및 예측모드 복호화부(440)에서 추출한 인트라예측모드에 대한 정보를 이용하여 예측 블록을 생성한다.

가산부(460)는 예측부(450)에서 생성된 예측 블록과 역변환부(430)에 의해 복원된 잔차 블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 디블로킹 필터부(470)에 의해 디블로킹 필터링된 후, 메모리(480)에 저장되어 대상 블록의 다음 블록이나 향후 다른 블록을 복원할 때 참조 픽처로서 사용될 수 있다.

한편, 예측모드 복호화부(440)는 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 비트스트림으로부터 인트라예측모드에 대한 정보를 복원할 수 있다. 즉, 도 3과 같이 4개의 인트라예측모드만 사용가능한 경우, 예를 들어, H.264/AVC와 같은 코덱의 경우 주변블록의 예측모드로부터 현재 블록의 예측모드를 예측한 값이 실제 예측모드와 일치하는지 여부를 나타내는 MPM(Most Probable Mode) 1비트를 복호하고, MPM이 실제 예측모드와 일치함을 나타내면 주변블록의 예측모드로부터 현재 블록의 인트라예측모드를 결정한다. 만일, MPM이 실제 예측모드와 일치하지 않음을 나타내는 경우에는, 도 3의 경우와 같은 위치에 현재 블록이 위치하는 경우에는 4개의 인트라예측모드(DC모드 포함)만 사용가능함을 확인하고 3비트만을 비트스트림으로부터 인트라예측모드로 복호하여, 현재 사용가능한 인트라예측모드 중에서 인트라예측모드를 복원할 수 있다.

도 5는 현재 블록의 예측에 사용되는 이웃블록 중에서 화소값이 거의 비슷한 경우가 있는 경우를 예시한 도면이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(100)에서 예측모드 부호화부(182)는 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 현재블록의 인트라예측모드를 부호화할 수 있다.

현재 블록을 예측할 때 쓰이는 이웃블록의 화소값이 유사한 값을 갖는 경우에 인트라예측 모드에 대한 정보를 줄여줌으로써 부호화 효율을 높일 수 있다. 예를 들어, 도 5에 도시된 것과 같이 z1~z9까지 서로 거의 비슷한 값(혹은 같은 값)으로 구성되어 있는 경우에, 현재블록의 좌상측블록, 상측블록 및 우상측블록의 화소들을 이용한 인트라예측모드를 이용하여 생성되는 예측 블록은 거의 같은 값의 예측신호를 가질 수 있으므로 이러한 인트라예측모드들은 서로 중복되는 예측모드의 성질을 가지고 있다. 이와 같이 이웃블록의 비슷한 값을 갖는 화소들로부터 예측하는 예측 모드들은 예측모드의 후보군에 하나만 포함함으로써 인트라예측모드 정보의 예측에 포함될 수 있는 중복성을 제거할 수 있다.

따라서, 도 5의 경우에는 수직모드, 대각선왼쪽모드, 수직왼쪽모드 등이 비슷한 예측결과를 나타내므로 하나의 모드로 통합하여 나타낼 수 있다. 즉, 9개의 모드가 아닌 7개의 모드를 예측모드의 후보군으로 하여 부호화할 수 있다.

여기서, 현재 블록을 예측할 때 쓰이는 이웃블록의 화소값이 유사한 값을 갖는지 여부는, 현재블록의 좌측블록의 인접화소간의 유사성, 현재블록의 좌측블록, 좌상측블록 및 상측블록의 인접화소들간의 유사성, 현재블록의 상측블록과 우상측블록의 인접화소들의 유사성 등 이웃블럭들의 유사성 중에서 하나 이상의 유사성에 따라 판단할 수 있으나 본 발명이 이에 한정되지는 않는다. 여기서, 유사성 여부의 판단은 인접화소들의 통계적 평균특성을 이용하여 판단할 수 있으며, 예를 들어 인접화소들의 분산값이 소정치 이하인지 여부를 판단함으로써 결정할 수 있으나, 화소간의 유사성 여부의 판단은 분산을 이용하는 방법에 한정하지 않고 화소값들 간의 차이가 일정치 이하인 경우 등 다양한 방법을 사용할 수 있다.

예를 들어, 현재블록의 좌측블록, 좌상측블록 및 상측블록의 인접화소들(a~d, z1~z4, z9)간의 유사성이 있다고 판단되는 경우, 수직모드, 수평모드, 대각선오른쪽모드, 수직오른쪽모드, 수평아래쪽모드, 수평위쪽모드 등은 하나의 모드로 통합하여 부호화할 예측모드의 후보군에 포함할 수 있다. 따라서, DC모드, 대각선왼쪽모드, 수직왼쪽모드, 통합된 모드 등의 4개의 모드만 대상으로 부호화할 수 있으므로, 인트라예측모드의 부호화 비트수가 줄어들 수 있다.

이 경우에도, H.264/AVC와 같은 코덱의 경우 현재 블록의 예측모드를 현재블록의 좌측블록, 상측블록의 예측모드를 이용하여 예측하는데, 예측한 값이 실제 예측모드와 일치하는 경우에는 1비트를, 일치하지 않는 경우에는 4비트를 사용하여 부호화를 하지만, 위의 경우와 같이 본 발명에서는 현재 블록의 예측모드를 좌측블록, 상측블록의 모드를 이용하여 예측하여, 예측한 값이 실제 예측모드와 일치하는 경우에는 1비트를, 일치하지 않는 경우에는 4개의 모드를 대상으로 하는 2비트를 추가하여 전체적으로 3비트만을 사용하여 부호화할 수 있어 부호화 효율을 높일 수 있다.

이와 같이, 예측모드 부호화부(182)가 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 현재블록의 인트라예측모드를 부호화하는 경우에, 영상복호화 장치(400)에서는, 예측모드 복호화부(440)는 주변블록의 화소값들을 확인하여 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함함으로써 해당 필요 비트수만큼만 비트스트림으로부터 인트라예측모드를 복원할 수 있다.

한편, 예측모드 부호화부(182)는 기설정 개수 이상의 부호화 대상 블록 내의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부를 나타내는 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 부호화할 수 있다.

위에서 설명한 것과 같이 현재 블록의 인트라예측모드를 예측하여 실제 인트라 예측모드와 일치하는 경우가 많으면 부호화 효율이 높아질 수 있다. 예를 들어 H.264/AVC와 같은 경우에 현재블록의 상측, 좌측 블록의 예측모드를 이용하여 현재 블록의 인트라예측모드를 예측하여 실제 인트라 예측모드와 일치하는 경우에는 1비트, 일치하지 않는 경우에는 4비트를 사용하여 부호화한다.

만일, 대상블록 안에 서브블록이 M개 있고 이웃 블록의 인트라예측모드를 이용하여 현재블록의 모드를 예측하여 실제 인트라예측모드와 일치하는 경우가 N개라고 하자. 현재 블록의 인트라예측모드를 예측하여 실제 인트라예측모드와 일치하는 경우에 쓰이는 비트 수를 A, 일치하는 않는 경우에 쓰이는 비트 수를 B라고 할 경우에, 현재 블록에서 인트라예측모드 정보에 사용되는 비트는 N*A + (M-N)*B 만큼의 비트를 사용하게 된다. N이 높아져서 M에 가까워질수록 현재 블록의 인트라 예측모드 정보에 사용되는 비트의 수는 적어지게 된다. 그러나 N이 높아질수록 중복되는 비트도 많이 포함된다. 만약 N이 M일 경우에 인트라예측모드에 대한 정보의 부호화에 M(또는 N)만큼의 비트(A를 1이라 가정하면)를 사용하게 된다. 예를 들어 H.264/AVC의 경우 인트라 4x4인 경우에 16 개의 서브블록의 인트라예측모드를 모두 예측하여 예측이 정확히 된 경우에는 16비트가 현재블록의 인트라예측모드 정보를 위해 사용하게 된다.

따라서, 본 발명에서는 대상 블록에 예측되는 인트라예측모드 정보의 중복성을 제거하기 위해서 인트라예측모드 정보를 합쳐서 보내는 방법을 제시한다. 대상 블록 안에 M개의 서브블록 중 기설정 갯수(또는 기설정 갯수 이상)의 서브블록에 대하여 그 좌측블록 및 상측블록을 이용한 인트라예측모드를 예측한 결과 실제 인트라예측모드와 일치하는 경우는 서브블록마다 인트라예측모드 정보를 보내주지 않고, 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 보낸다. 예측모드 단일부호화 플래그는 대상 블록 안에 M개의 서브블록 중 기설정 갯수(또는 기설정 갯수 이상)의 블록이 예측이 실제와 일치하는지 여부를 나타낸다.

부호화되는 인트라예측모드 정보에는 예측모드 단일부호화 플래그와 함께, 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않은 서브블록의 갯수, 위치 및 실제 인트라예측모드에 대한 정보를 포함함으로써 중복되는 인트라예측모드 정보를 줄여 효율적으로 부호화할 수 있다. 만약 M개의 서브블록 중 인트라예측모드 예측의 결과 예측이 실제와 일치하는 경우가 기설정 갯수 이상이 아닌 경우에는 기존 방법(즉, 서브블록별 인트라예측모드를 부호화)으로 부호화한다는 의미를 나타내는 예측모드 단일부호화 플래그를 부호화한다.

본 발명은, 특히 양자화 파라미터가 큰 경우(즉, 로우 비트 레이트(low bit rate)의 경우)에는 전체 발생하는 비트 중에서 인트라예측모드 정보에 대한 비율이 높기 때문에 이와 같이 중복되는 인트라예측모드 정보를 줄여줌으로써 높은 부호화 효율을 얻을 수 있다.

이와 같이, 예측모드 부호화부(182)가 기설정 개수 이상의 부호화 대상 블록 내의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부를 나타내는 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 부호화하는 경우, 영상복호화 장치(400)의 예측모드 복호화부(440)는 비트스트림으로부터 복원할 현재블록의 서브블록에 대한 인트라예측모드에 대한 정보를 복호하고, 인트라예측모드에 대한 정보에 포함된 예측모드 단일부호화 플래그의 의미가 기설정 갯수의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지에 따라 인트라예측모드를 복원할 수 있다. 여기서 기설정 갯수에 대한 정보는 영상 부호화장치와 영상 복호화장치가 서로 약속할 수도 있고, 영상 부호화 장치가 영상의 시퀀스 또는 슬라이스 등의 단위로 해당 정보를 영상 복호화장치로 전송할 수도 있다.

따라서, 예측모드 복호화부(440)는 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치함을 나타내는 경우, 인트라예측모드에 대한 정보에 포함된 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않은 서브블록의 갯수, 위치 및 실제 인트라예측모드에 대한 정보를 복호함으로써 전체 서브블록의 인트라예측모드를 복원할 수 있다.

또한, 예측모드 복호화부(440)는 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않음을 나타내는 경우, 인트라예측모드 정보에 포함된 서브블록별 인트라예측모드를 복호하여 전체 서브블록의 인트라예측모드를 복원할 수 있다.

도 6은 예측모드 부호화부(182)가 MPM(Most Probable Mode)이 실제 인트라예측모드와 일치하는 서브블록의 갯수에 대한 정보를 발생할 때 참조하는 테이블을 예시한 도면이다.

예를 들어, 16X16 블록에서 인트라4X4로 예측을 하여 인트라예측모드에 대한 정보를 발생하는 경우, 16개의 서브블록 중에서 13개 이상의 서브블록의 갯수에 대한 정보를 발생하고자 하는 경우, 여러 가지의 방법으로 각 정보에 비트를 할당한다. 예를 들어, 도 6의 테이블을 참조하여 MPM이 실제 인트라예측모드와 일치하는 서브블록의 갯수가 16이면 0, 15이면 10, 14이면 110, 13이면 111을 발생하도록 한다.

또한, MPM이 실제 인트라예측모드와 일치하지 않는 위치에 대한 정보는 트리(Tree)를 이용하여 발생함으로써 부호화효율을 높일 수 있다.

예를 들어, 16X16 크기의 매크로블록(MB)에 4X4 크기의 16개의 서브블록이 있다고 가정할 때, 본 발명의 방법을 사용하는 기준인 기설정값을 13이라 가정하자. 만일 하나의 MB에 14개의 서브블록의 MPM이 실제 예측모드와 일치하고 나머지 2개의 서브블록이 MPM은 일치하지 않을 경우, 기설정값보다 큰 값인 14개의 서브블록의 MPM이 실제 예측모드와 일치하는 경우이기 때문에 제안된 방법으로 인트라 예측모드를 부호화한다. 이 때 위치에 대한 정보는 트리 방식으로 보내는 방식으로 이진화하여 부호화할 수 있다.

도 7은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 예시한 도면이다.

예측모드 부호화부(182)는 현재블록에 대하여 가로 및 세로 모두 현재블록의 1/2크기를 갖는 4개의 하위 블록에 MPM이 실제 예측모드와 일치하지 않는 인트라예측 서브블록이 존재하는지 여부에 대한 정보를 발생하고, 하위 블록에 대해서도 1/4 크기의 차하위 서브블록이 인트라예측단위보다 큰 경우에는 순차적으로 MPM이 실제 예측모드와 일치하지 않는 인트라예측 서브블록이 차하위 서브블록에 존재하는지 여부에 대한 정보를 나타내는 방식의 쿼드 트리(Quad Tree) 형태로 생성한다.

도 7의 (A)에 도시한 바와 같이, 두 개의 서브블록 위치에서 MPM이 실제 예측모드와 일치하지 않는 경우(X 표시), 해당 서브블록에 대한 정보를 발생한다. 만일, 트리를 이용할 경우(예컨대 쿼드 트리), 해당 매크로블록의 가로 세로의 각각 절반의 크기를 갖는 서브블록 네 개로 나누어 (B)와 같이 래스터 스캔 순서(raster scan order)로 MPM이 실제 예측모드와 일치하지 않는 블록이 있으면 1을 할당하고 MPM이 실제 예측모드와 일치하지 않는 블록이 없는 경우(O로 표시) 0을 할당하는 방식(0과 1의 할당은 서로 반대로 할 수도 있음)으로 1100이라는 이진비트를 발생한다.

예측모드 부호화부(182)는 MPM이 실제 예측모드와 일치하지 않는 갯수에 대한 정보를 도 6의 테이블을 참조하여 발생하므로, 도 7의 경우에 발생하는 1100이라는 정보를 통하여 각 1로 표시된 8X8 블록에서는 MPM이 실제 예측모드와 일치하지 않는 서브블록의 갯수가 각 1개임을 알 수 있다. 따라서 1의 값을 갖는 8x8 블록에서는 추가적으로 2bit씩을 이용하여 8x8 블록내의 MPM이 들어맞지 않은 4x4 블록 1개의 위치에 대한 정보를 발생할 수 있다. 도 7의 그림에서는 8x8 블록 단위로 1비트씩 할당하여 4 bit, MPM이 들어맞지 않은 각각의 8x8 블록 내에서의 4x4 블록의 위치 정보 2 bit씩 해서 총 8 bit의 위치 정보를 발생하게 된다. 이는 16X16 크기의 블록 내에서 4X4 블록의 위치 두 개에 대한 정보를 보내주는 경우의 비트 수와 동일하다. 도 7에서와 같이 14개의 서브블록의 MPM이 실제 예측모드와 일치하는 경우 2개의 서브블록이 MPM과 일치하지 않기 때문에 첫번째 8x8블록과 두번째 8x8블록이 MPM이 아니라고 할 경우에 1100이라는 정보를 11이라는 정보로 줄일 수도 있다(2개의 서브블록만 MPM과 일치하지 않는다는 정보를 도 6에 나와있는 것처럼 미리 알 수 있기 때문에 첫번째, 두번째 8x8 블록에서 11이면 세번째, 네번째는 당연히 00이기 때문에 00을 생략할 수 있다).

도 8은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 나타내는 다른 예를 예시한 도면이다.

도 8의 (A)와 같이 매크로블록 내에서 인트라4X4로 예측 시에 MPM이 일치하는 서브블록이 존재하는 경우에, 도 7의 경우와 동일한 방법으로 쿼드 트리를 사용하여 8x8 블록단위로 MPM이 인트라4X4 예측모드 정보와 일치하지 않는 블록의 정보를 생성하면 도 8의 (B)와 같이 1 0 0 0 으로 생성할 수 있다. 이 경우는 두 개의 서브블록 위치에서 MPM이 실제 예측모드와 일치하지 않는 경우가 하나의 8x8 블록 안에 포함되어 있는 경우를 나타낸다. 그래서 1번째 8x8 블록에서 첫번째로 MPM이 실제 예측모드와 일치하지 않는 4x4 블록의 위치 정보를 2 bit를 사용해서 발생하고, 같은 8x8 블록안의 MPM이 실제 예측모드와 일치하지 않는 또 다른 4x4 서브블록에 대한 위치정보는 2bit를 사용해서 보낼 수 있다.

각 서브블록의 위치를 이진화할 수도 있는데, 예를 들어, 도 9는 4x4 서브블록의 위치를 이진화하는 테이블을 예시한 도면이다.

도 8에서 MPM이 실제 예측모드와 일치하지 않는 하나의(예컨대 좌상측의 1번째)의 4x4 블록은 2비트로 위치정보를 발생할 수 있고 이 서브블록을 제외하면 해당 8x8 블록에서는 3개의 4X4 서브블록 후보군이 남는다. 따라서, 나머지 하나인 두번째 서브블록에 대해서는 도 9와 같이 이진화할 수 있다.

즉, 도 9에 도시한 바와 같이 MPM이 맞지 않는 다른 하나의 4x4 블록이 우상측 4x4 블록이면 기존의 2 bit 대신 한 비트인 0만 보내주면 되기 때문에 다른 하나의 서브블록에 대한 위치 정보를 부호화하는 비트수를 절약할 수 있다.

도 10은 매크로블록 내에서 인트라4X4로 예측 시에 어떤 서브블록의 예측모드가 MPM과 일치하는지 여부를 나타내는 또 다른 예를 예시한 도면이다.

하위 서브블록의 크기가 인트라예측 단위와 같은 경우에는, MPM이 실제 예측모드와 일치하지 않는 정보가 1개 존재하는 경우에는 MPM이 실제 예측모드와 일치하지 않는 서브블록의 위치에 대한 정보 하나만을 발생하고, MPM이 실제 예측모드와 일치하지 않는 정보가 3개 존재하는 경우에는 MPM이 실제 예측모드와 일치하는 서브블록의 위치에 대한 정보만을 발생한다.

예를 들어, MPM이 13개가 실제 예측모드와 일치하는 경우에, 기설정한 13개 이상의 MPM이 실제 예측모드와 일치하기 때문에 이 경우에도 제안된 방법을 사용하여 인트라 예측 모드를 부호화할 수 있다.

만일, 도 10의 (A)와 같이 MPM이 실제 예측모드와 일치하는 경우라면, 도 10의 (B)처럼 쿼드트리 방식으로 1 0 0 0이라는 비트를 발생할 수 있다.

도 10에서 MPM이 실제 예측모드와 들어맞지 않는 4x4 블록이 3개인데 쿼드트리로 표현했을 때 1 0 0 0 이라는 정보로 인해 첫번째 8x8 블록 안에 MPM이 실제 예측모드와 일치하지 않은 4x4 블록이 3개가 존재한다는 것을 알 수 있다. 이 경우에는 이미 13개의 서브블록의 MPM이 실제 예측모드와 일치한다는 사실을 알수 있으므로 1번째 8x8 블록안에 MPM이 실제 예측모드와 일치하는 1개의 4x4 블록의 위치 정보 2 비트를 발생함으로써 쿼드 트리에 4비트와 1개의 4x4 블록의 위치 정보 2 비트를 더하여 6비트면 이 매크로블록 안의 어떤 서브블록의 MPM이 실제 예측모드와 일치하는지 여부를 알 수 있어 효율적이다.

한편, 본 실시예에서 쿼드 트리를 설명함에 있어서 16X16 크기의 블록에서 4X4 크기의 서브블록의 위치정보를 생성하는 것으로 설명하였으나, 본 발명이 이에 한정되지는 않으며, 블록의 크기가 32X32인 경우에는 4X4 크기의 서브블록에 대한 위치 정보를 발생함에 있어서, 16X16 크기의 서브 영역 안에 MPM이 실제 예측모드와 일치하는 4X4 크기의 서브블록이 있는지 여부를 나타내는 4비트의 정보를 발생한 후, 서브 영역 안에 MPM이 실제 예측모드와 일치하지 않는 4X4 크기의 서브블록이 존재하는 16X16의 블록에 대해서 다시 8X8 크기의 서브영역 안에 MPM이 실제 예측모드와 일치하는 4X4 크기의 서브블록이 있는지 여부를 나타내는 4비트의 정보를 발생한다. 이와 같은 쿼드 트리는, 1/4 크기로 나눈 서브블록이 인트라 예측 단위와 동일한 크기를 갖는 블록에서는 더 이상 쿼드트리로 정보를 발생하지 않고 도 9와 같은 테이블 등을 이용하여 MPM이 실제 예측모드와 일치하지 않는 서브블록(인트라예측단위의 서브블록)의 위치에 대한 정보를 발생한다. 위의 설명한 예에서는 4x4 크기의 서브블록에 대해서만 설명하였으나, 인트라 예측 크기는 4x4 크기뿐만 아니라 다양하게 설정할 수 있다.

전술한 바와 같이, 예측모드 부호화부(182)가 실제 인트라예측모드에 대한 정보를 쿼드트리 형태로 발생시켜 부호화하는 경우에, 영상 복호화 장치(400)의 예측모드 복호화부(440)는 비트스트림으로부터 예측모드 부호화부(182)가 실제 인트라예측모드에 대한 정보를 쿼드트리 형태로 발생시킨 방법의 역으로 실제 인트라예측모드에 대한 정보를 추출할 수 있다. 예를 들어, 비트스트림이 4X4 인트라예측을 수행하여 부호화된 경우이고, 또한 매크로블록의 크기가 16X16이라 가정하면, 비트스트림으로부터 MPM과 일치하는 서브블록(일치 서브블록이라 칭함)의 갯수 정보로 110을 추출한 경우 도 6과 같은 테이블을 이용하여 일치 서브블록의 갯수가 14개임을 복호한다. 따라서, 일치 서브블록이 아닌 서브블록(불일치 서브블록)의 갯수는 2개가 됨을 알 수 있다. 또한, 비트스트림으로부터 일치 서브블록의 위치에 대한 정보로 1000을 복호한 경우에 도 8과 같이 16X16 블록 중에서 좌상측 서브블록이 불일치 서브블록을 포함하고 있음을 알 수 있다. 또한 추가적으로 비트스트림으로부터 00을 복호한 경우에 복호한 정보가 첫번째 불일치 서브블록의 위치를 알 수 있다(좌상측 서브블록의 위치에 대하여 시계방향으로 00, 01, 10, 11의 순서로 부호화하는 것으로 약속된 경우, 복호된 00은 첫번째 불일치 서브블록의 위치가 좌상측 블록 집합 내에서 좌상측 서브블록임을 의미하는 것임을 알 수 있음). 또한 추가적으로 비트스트림으로부터 복호한 정보가 '0'인 경우에, 2번째 불일치 서브블록의 위치에 대한 정보는 도 9와 같은 이진 테이블을 사용하는 것으로 영상 부호화 장치와 약속이 된 경우, 2번째 불일치 서브블록의 위치는 도 8과 같은 좌상측 블록 집합 내에서 우상측의 서브블록을 나타내는 정보임을 알 수 있다.

또한, 쿼드트리를 이용하여 실제 인트라예측모드에 대한 정보를 복원하는 경우 최하위 레벨의 블록에서는 MPM이 실제 예측모드와 일치하지 않는 경우가 하나 또는 세개인 경우에는 비트스트림으로부터 1비트의 정보를 이용하여 MPM이 실제 예측모드와 일치하지 않는 서브블록의 위치에 대한 정보를 복원할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1의 영상 부호화 장치(100)의 비트스트림 출력단을 도 4의 영상 복호화 장치(400)의 비트스트림 입력단에 연결함으로써 구현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재블록에 인접한 이웃블록의 화소를 이용하여 현재블록을 인트라예측하여 부호화하고 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 부호화하는 영상 부호화기 및 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 복원하고, 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 현재블록을 복원하는 영상 복호화기를 포함한다.

여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(100)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(400)로 구현 가능하다.

본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화단계(S610), 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화단계(S620)를 포함한다.

본 발명의 다른 실시예에 따른 영상 부호화 방법은, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하는 인트라예측 부호화단계(S710) 및 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 상기 현재블록의 인트라예측모드를 부호화하는 예측모드 부호화단계(S720)를 포함한다.

본 발명의 또 다른 실시예에 따른 영상 부호화 방법은, 현재블록의 서브블록들을 상기 서브블록에 인접한 이웃블록의 화소를 이용하여 인트라예측 부호화하는 인트라예측 부호화단계(S810) 및 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부를 나타내는 예측모드 단일부호화 플래그를 포함하는 인트라예측모드 정보를 부호화하는 예측모드 부호화단계(S820)를 포함한다.

여기서 인트라예측 부호화단계(S610, S710, S810)는 인트라예측 부호화부의 동작에, 예측모드 부호화단계(S620, S720, S820)는 예측모드 부호화부(182)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 복호화 방법은, 인트라예측모드에 사용되는 화소를 포함하는 이웃블록 중에서 인트라예측에 사용될 수 없는 부재 이웃블록이 있는 경우에 상기 부재 이웃블록의 화소를 이용하는 인트라예측모드는 후보모드에서 제외하여 비트스트림으로부터 인트라예측모드에 대한 정보를 복원하는 예측모드 복호화단계(S910), 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계(S920)를 포함한다.

본 발명의 다른 실시예에 따른 영상 복호화 방법은, 인트라예측모드에 사용되는 화소 중에서 유사한 값을 가지는 화소들만을 이용하는 인트라예측모드들은 모두 하나로 통합하여 후보모드에 포함하여 비트스트림으로부터 인트라예측모드를 복원하는 예측모드 복호화단계(S1010) 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계(S1020)를 포함한다.

본 발명의 또 다른 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 복원할 현재블록의 서브블록에 대한 인트라예측모드에 대한 정보를 복호하고, 상기 인트라예측모드에 대한 정보에 포함된 예측모드 단일부호화 플래그의 의미가 기설정 개수 이상의 상기 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지에 따라 인트라예측모드를 복원하는 예측모드 복호화단계(S1110) 및 상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화단계(S1120)를 포함한다.

여기서, 예측모드 복호화단계(S910, S1010, S1110) 및 인트라예측 복호화단계(S920, S1020, S1120)는 예측모드 복호화부(440) 및 인트라예측 복호화부의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재블록에 인접한 이웃블록의 화소를 이용하여 상기 현재블록을 인트라예측하여 부호화하고 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 부호화하는 영상 부호화단계 및 전체 인트라예측모드에 중복 또는 불필요한 인트라예측모드에 대한 정보는 후보모드에서 제외하거나 기설정 개수 이상의 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는지 여부에 따라 현재블록의 인트라예측모드를 복원하고, 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 영상 복호화단계를 포함한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상을 부호화하거나 복호화하는 데 있어서, 인트라예측모드 정보를 부호화할 때 모드 정보에 포함되어 있는 불필요하거나 중복되어 있는 정보를 줄임으로써 부호화 효율을 향상시키는 효과가 있어 유용한 발명이다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
영상을 복호화하는 장치에 있어서,
비트스트림으로부터 복원할 현재블록의 복수의 서브블록에 대한 인트라예측모드에 대한 정보를 복호하고, 상기 인트라예측모드에 대한 정보를 이용하여 인트라예측모드를 복원하는 예측모드 복호화부; 및
상기 복원된 인트라예측모드를 이용하여 복원할 현재블록의 예측블록을 생성하고 상기 현재블록을 복원하는 인트라예측 복호화부
를 포함하되,
상기 인트라예측모드에 대한 정보는, 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는 서브블록의 개수가 기설정된 개수 이상인지를 나타내는 예측모드 단일부호화 플래그를 포함하고,
상기 예측모드 단일부호화 플래그가 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는 서브블록의 개수가 기설정된 개수 이상임을 나타내는 경우, 상기 인트라예측모드에 대한 정보는, 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하지 않은 서브블록의 갯수, 위치 및 실제 인트라예측모드에 대한 정보를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
삭제
제 17항에 있어서, 상기 실제 인트라예측모드에 대한 정보는,
상기 비트스트림으로부터 추출한 정보에 트리를 이용하여 복원하는 것을 특징으로 하는 영상 복호화 장치.
제 19항에 있어서,
최하위 레벨의 블록에서는 MPM이 실제 예측모드와 일치하지 않는 경우가 하나 또는 세개인 경우에는 1비트의 정보를 이용하여 MPM이 실제 예측모드와 일치하지 않는 서브블록의 위치에 대한 정보를 복원하는 것을 특징으로 하는 영상 복호화 장치.
제 17항에 있어서,
상기 예측모드 단일부호화 플래그가 서브블록의 인트라예측모드에 대한 예측값이 실제 인트라예측모드와 일치하는 서브블록의 개수가 기설정된 개수 이상이 아님을 나타내는 경우,
상기 인트라예측모드 정보는, 상기 서브블록별 인트라예측모드를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제