KR101842205B1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101842205B1
KR101842205B1 KR1020170062822A KR20170062822A KR101842205B1 KR 101842205 B1 KR101842205 B1 KR 101842205B1 KR 1020170062822 A KR1020170062822 A KR 1020170062822A KR 20170062822 A KR20170062822 A KR 20170062822A KR 101842205 B1 KR101842205 B1 KR 101842205B1
Authority
KR
South Korea
Prior art keywords
block
macroblock
coded
current
information
Prior art date
Application number
KR1020170062822A
Other languages
English (en)
Other versions
KR20170059434A (ko
Inventor
박준영
박승욱
전병문
최영희
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20170059434A publication Critical patent/KR20170059434A/ko
Application granted granted Critical
Publication of KR101842205B1 publication Critical patent/KR101842205B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

현재 매크로 블록 타입에 따른 현재 매크로 블록의 파티션에 대해 스킵 모드로 코딩되어 있는지 여부를 판별하고, 상기 현재 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는 경우 상기 파티션의 움직임 벡터를 유도하며, 상기 유도된 움직임 벡터에 기초하여 상기 파티션의 화소값을 예측할 수 있다. 상기 매크로 블록의 크기보다 작은 블록 단위로 움직임 벡터를 유도함으로써, 상기 움직임 벡터를 이용하여 원래 영상에 근접한 참조 블록의 화소값을 획득할 수 있고, 이에 따라 매크로 블록의 복원율을 향상시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL}
본 발명은 화면 간 예측을 이용한 비디오 신호 처리 방법 및 장치에 관한 것이다.
인코딩된 영상 신호를 디코더로 전송함에 있어, 영상 신호의 압축율을 높이기 위해 시간적 중복성과 공간적 중복성을 제거하는 방법 즉, 화면내 또는 화면간 예측을 수행한다.
본 발명의 목적은 화면간 예측을 이용하여 비디오 신호를 효율적으로 처리하고자 함에 있다.
본 발명의 또 다른 목적은 스킵 모드를 이용한 화면 간 예측을 수행함으로써 비디오 신호를 효율적으로 처리하고자 함에 있다.
본 발명의 또 다른 목적은 직접 예측 모드를 이용한 화면 간 예측을 수행함으로써 비디오 신호를 효율적으로 처리하고자 함에 있다.
상기 목적을 달성하기 위하여 본 발명은 화면 간 예측시 다양한 움직임 벡터 후보자를 구성하고, 이로부터 정교한 움직임 벡터를 획득하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명은 매크로 블록 내의 일정 크기의 영역에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명은 매크로 블록 타입 정보에 따른 매크로 블록의 파티션에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명은 하나의 매크로 블록 내에서 스킵 모드 또는 직접 예측 모드를 부분적으로 지시하기 위한 매크로 블록 타입을 제시하고, 상기 매크로 블록 타입에 기초하여 스킵 모드 또는 직접 예측 모드를 이용한 화면 간 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명은 매크로 블록이 스킵 모드로 코딩되어 있는 경우, 매크로 블록의 크기보다 작은 블록 단위로 움직임 벡터를 유도하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명은 스킵 모드 또는 직접 예측 모드 지시 정보를 정의하고, 매크로 블록이 스킵 모드로 코딩되어 있는지 직접 예측 모드로 코딩되어 있는지를 지시하며, 스킵 모드인지 또는 직접 예측 모드인지는 CBP(Coded Block Pattern) 정보를 이용하여 판별하는 것을 특징으로 하는 비디오 신호 처리 방법을 제시한다.
본 발명에 따르면, 화면 간 예측을 위한 움직임 벡터 후보자로부터 정교한 움직임 벡터를 획득함으로써, 부호화할 움직임 벡터 차분값의 비트량을 줄일 수 있을 뿐 만 아니라, 원래 영상을 복원함에 있어서 정확성을 향상시킬 수 있다. 16x16 보다 큰 매크로 블록에 대해서 스킵 모드 또는 직접 예측 모드를 이용할 경우, 상기 매크로 블록의 크기 보다 작은 블록 단위로 스킵 모드 또는 직접 예측 모드를 이용함으로써, 스킵 모드 또는 직접 예측 모드를 이용한 화면간 예측의 오차를 줄일 수 있고, 그에 따라 코딩의 효율성을 향상시킬 수 있다. 하나의 매크로 블록 내에서 스킵 모드 또는 직접 예측 모드를 부분적으로 지시하기 위한 매크로 블록 타입을 이용함으로써, 매크로 블록 내의 일정 크기의 영역에 대하여 스킵 모드인지 또는 직접 예측 모드인지를 지시하는 정보를 코딩할 필요없고, 상기 매크로 블록 타입 정보만을 코딩함으로써 부호화할 비트량을 줄일 수 있다. 매크로 블록을 스킵 모드로 코딩하는 경우, 상기 매크로 블록의 크기보다 작은 블록 단위로 움직임 벡터를 유도함으로써, 상기 움직임 벡터를 이용하여 원래 영상에 근접한 참조 블록의 화소값을 획득할 수 있고, 이에 따라 매크로 블록의 복원율을 향상시킬 수 있다. 매크로 블록이 스킵 모드 또는 직접 예측 모드 지시 정보를 이용함으로써, 매크로 블록에 대하여 스킵 모드 지시 정보 및 직접 예측 모드 지시 정보를 별도로 코딩할 필요가 없고, 이미 부호화된 CBP 정보를 이용하여 스킵 모드 또는 직접 예측 모드를 판별하므로 부호화할 정보량을 줄일 수 있어서, 비디오 신호 처리의 효율성을 향상시킬 수 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 매크로 블록의 크기보다 작은 크기의 블록 단위로 스킵 모드를 적용하는 방법의 일 실시예를 도시한 것이다.
도 3은 매크로 블록 타입 정보에 기초하여 매크로 블록내에서 스킵 모드를 이용하는 부분을 지시하는 방법을 도시한 블록도이다.
도 4는 서브 매크로 블록 레벨에서 현재 매크로 블록이 부분적으로 스킵 모드로 코딩되어 있는지를 지시하는 방법의 일 실시예이다.
도 5는 현재 매크로 블록이 부분적으로 스킵 모드로 코딩되어 있는지를 지시하는 방법의 다른 일 실시예이다.
도 6과 도 7은 부분적 스킵 모드를 나타내기 위한 매크로 블록 타입의 일 실시예이다.
도 8은 본 발명의 일 실시예로서, 매크로 블록 타입이 P 스킵 매크로 블록인 경우에 움직임 벡터를 유도하는 방법을 도시한 것이다.
도 9는 공간 직접 예측 모드가 적용되는 인터 예측부(700)의 개략적인 내부 블록도를 나타낸 것이다.
도 10은 스킵 또는 직접 모드 지시 정보를 이용하여 슬라이스 데이터를 디코딩하는 과정을 도시한 블록도이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 현재 매크로 블록 타입 정보에 따른 상기 현재 매크로 블록의 파티션에 대해 스킵 여부를 판별하고, 상기 현재 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는 경우에는 상기 현재 매크로 블록의 파티션의 움직임 벡터를 유도하며, 상기 움직임 벡터에 기초하여 상기 현재 매크로 블록의 파티션의 화소값을 예측하는 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는지 여부를 판별하기 위해 상기 현재 매크로 블록 타입 정보를 획득하는 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션에 대하여 스킵 모드 지시 정보를 획득하는 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션은 현재 매크로 블록 타입에 따른 예측 블록의 크기 정보에 기초하여 획득되는 것을 특징으로 한다.
본 발명에 따르면, 상기 스킵 모드 지시 정보라 함은 상기 현재 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는지 또는 스킵 모드로 코딩되어 있지 아니한지를 나타내는 정보인 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션의 움직임 벡터는 현재 매크로 블록의 파티션에 이웃하는 블록의 움직임 벡터의 중앙값으로 유도되는 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션에 이웃하는 블록은 상기 현재 매크로 블록의 파티션의 좌측 블록, 상단 블록, 및 우측 상단 블록을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 상기 현재 매크로 블록의 파티션의 화소값은 상기 움직임 벡터에 의해 참조되는 참조 블록의 화소값인 것을 특징으로 한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
매크로 블록은 비디오 프레임을 처리하기 위한 기본 단위로서, 16x16 화소로 이루어진 영역으로 정의할 수 있다. 16x16 보다 큰 매크로 블록은 종래보다 해상도가 큰 비디오 프레임을 처리하기 위한 기본 단위가 될 수 있으며, 예를 들어 32x32, 64x64 화소로 이루어진 영역으로 정의할 수 있다.
16x16 보다 큰 매크로 블록은 비디오 영상의 해상도에 따라 적응적으로 이용될 수 있다. 예를 들어, 비디오 영상의 해상도가 VGA이하인 경우에는 매크로 블록의 크기를 16x16으로 설정할 수 있으며, 이에 따라 매크로 블록의 파티션으로서 16x8, 8x16, 8x8, 4x8, 8x4, 4x4 크기의 블록들이 사용될 수 있다. 해상도가 VGA 이상 1080P 이하인 경우에는 매크로 블록의 크기를 32x32으로 설정할 수 있으며, 이에 따라 매크로 블록의 파티션으로서 32x16, 16x32, 16x16, 16x8, 8x16, 8x8 크기의 블록들이 사용될 수 있다. 해상도가 1080P 이상 4kx2k 이하인 경우에는 매크로 블록의 크기를 64x64으로 설정할 수 있으며, 마찬가지로 매크로 블록의 파티션으로서 64x32, 32x64, 32x32, 32x16, 16x32, 16x16 크기의 블록들이 사용될 수 있다. 다만, 인코더에서는 비디오 영상의 해상도에 따라 16x16 매크로 블록 또는 16x16 보다 큰 매크로 블록 가운데서 최적의 매크로 블록의 크기를 결정할 수 있다. 상기 결정된 매크로 블록의 크기 정보는 슬라이스 레벨이나 시퀀스 레벨에서 디코더로 전송될 수 있다.
매크로 블록 타입은 매크로 블록의 예측 모드에 따라, 즉, 화면 내 예측 모드인지 또는 화면 간 예측 모드인지에 따라 각각 정의될 수 있고, 이는 예측 블록의 크기 정보를 포함할 수 있으며, 화면 간 예측을 수행하는 매크로 블록 타입은 예측 방향에 대한 정보도 포함할 수 있다.
화면 내 예측 모드로 코딩된 예측 블록의 크기는 16x16화소, 8x8화소, 4x4화소로 설정될 수 있다. 상기 예측 블록이라 함은 화면 내 예측 또는 화면 간 예측을 수행하는 블록의 단위를 의미할 수 있다. 화면 간 예측 모드로 코딩된 예측 블록의 움직임 보상을 위해 16x16화소, 16x8화소, 8x16화소 8x8화소가 예측 블록의 크기로 사용될 수 있고, 8x8화소가 예측 블록의 크기로 사용될 경우 상기 8x8화소 예측 블록의 파티션(예를 들어, 8x4화소, 4x8화소, 4x4화소) 단위로 화면 간 예측을 수행할 수 있다.
해상도가 VGA 이상 1080P 이하인 경우, 화면 내 예측 모드로 코딩된 예측 블록의 크기는 16x16화소, 8x8화소로 설정될 수 있으며, 화면 간 예측 모드로 코딩된 예측 블록의 크기는 16x16화소, 16x8화소, 8x16화소 8x8화소로 설정될 수 있다. 이 경우, 8x8화소 예측 블록의 파티션(예를 들어, 8x4화소, 4x8화소, 4x4화소) 단위로는 화면 간 예측을 수행하지 아니할 수 있다. 해상도가 1080P 이상 4kx2k 이하인 경우, 화면 내 예측 모드 또는 화면 간 예측 모드로 코딩된 예측 블록의 크기는 16x16화소로 설정될 수 있다.
마찬가지로 인코더에서는 비디오 영상의 해상도에 따라 최적의 매크로 블록 타입을 결정할 수 있고, 상기 결정된 매크로 블록 타입 정보는 슬라이스 레벨이나 시퀀스 레벨에서 디코더로 전송될 수 있으며, 이에 따라 적응적으로 결정된 매크로 블록 타입을 이용할 수 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 디코딩 장치는 크게 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700) 등을 포함한다.
파싱부(100)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 세트와 픽쳐 파라미터 세트가 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. 파싱된 비트스트림은 엔트로피 디코딩부(200)를 통하여 엔트로피 디코딩되고, 각 매크로블록의 계수, 움직임 벡터 등이 추출된다. 역양자화/역변환부(300)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(400)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블록킹 필터부(500)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기와 경계 주위의 이미지 샘플의 변화에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장된다. 복호 픽쳐 버퍼부(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 인터 예측부(700)에서는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 모드로 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두 개의 참조 픽쳐로부터 예측될 수 있다. 상기 인터 예측부(700)에서는 엔트로피 디코딩부(200)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 이하 블록이라 함은 매크로 블록 또는 매크로 블록의 파티션을 포함하는 것으로 이해되어야 한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 이웃 블록으로부터 상기 현재 블록의 움직임 벡터 예측값을 획득할 수 있다. 상기 이웃 블록이라 함은 현재 블록의 좌측, 상단, 우측 상단의 블록을 포함할 수 있다. 예를 들어, 상기 이웃 블록들의 움직임 벡터의 수평 성분과 수직 성분 각각의 중앙값을 사용하여 현재 블록의 움직임 벡터의 예측값을 획득하는 것으로 설정할 수 있다. 또는 현재 블록의 좌측 블록이 하나 이상의 화면 간 예측 모드로 코딩된 예측 블록을 가지는 경우에는 그 중 가장 상단에 위치한 예측 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터의 예측값을 획득하는 것으로 설정할 수도 있다. 현재 블록의 상단 블록이 하나 이상의 화면 간 예측 모드로 코딩된 예측 블록을 가지는 경우에는 그 중 가장 좌측에 위치한 예측 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터의 예측값을 획득하는 것으로 설정할 수도 있다. 이웃 블록 중 현재 블록의 상단, 우측 상단의 블록이 픽쳐 또는 슬라이스의 경계 밖에 위치할 경우, 좌측 블록의 움직임 벡터를 현재 블록의 움직임 벡터의 예측값으로 설정할 수 있다. 이웃 블록 중 현재 블록과 참조 픽쳐 번호가 같은 블록이 하나만 있는 경우에는 그 블록의 움직임 벡터를 예측에 사용하는 것으로 설정할 수 있다.
매크로 블록 타입에 따른 매크로 블록의 파티션에 기초하여 움직임 벡터의 예측값을 획득할 수도 있다. 예를 들어, 현재 매크로 블록 타입에 따른 상기 현재 매크로 블록의 파티션이 8x16 인 경우, 상기 현재 매크로 블록의 파티션의 인덱스가 0이면, 상기 현재 매크로 블록의 좌측 블록을, 현재 블록의 인덱스가 1이면, 현재 블록의 우측 상단의 블록을 예측에 사용하는 것으로 설정할 수 있다. 현재 매크로 블록 타입에 따른 매크로 블록의 파티션이 16x8 인 경우, 상기 매크로 블록의 파티션의 인덱스가 0이면, 현재 블록의 상단 블록을, 상기 매크로 블록의 파티션의 인덱스가 1이면, 현재 블록의 좌측 블록을 예측에 사용하는 것으로 설정할 수 있다.
현재 블록의 움직임 벡터 예측값을 획득함에 있어서, 이웃 블록으로부터 추출가능한 여러 가지의 움직임 벡터를 움직임 벡터 예측값의 후보자로 정의할 수 있다. 상기 움직임 벡터 예측값의 후보자는 상기 설명한 바와 같이 이웃 블록 중 어느 하나의 블록의 움직임 벡터, 이웃 블록의 움직임 벡터들의 중앙값 등을 포함할 수 있으나, 이에 한정되지 아니한다. 그에 따라 인코더에서는 움직임 벡터 예측값의 후보자 중 현재 블록의 움직임 벡터 예측값으로 가장 효율성이 좋은 움직임 벡터를 선택하고, 상기 선택된 움직임 벡터 정보를 디코더로 전송할 수 있다. 상기 선택된 움직임 벡터 정보는 슬라이스 레벨 또는 매크로 블록 레벨에서 획득될 수 있다. 상기 움직임 벡터 예측값의 후보자를 인덱스를 이용하여 정의할 수도 있으며, 상기 선택된 움직임 벡터 정보는 상기 인덱스를 포함할 수 있다.
현재 블록의 움직임 벡터와 움직임 벡터의 예측값 간의 차분 벡터만을 부호화함으로써 부호화해야 할 비트량을 줄일 수 있다. 상기 획득된 움직임 벡터 예측값과 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다.
매크로 블록의 크기가 16X16 인 경우, 화면 간 예측을 위해 16X16, 16X8, 8X16, 8X8, 8X4, 4X8, 4X4까지 총 7종류의 블록 크기가 사용될 수 있다. 이들은 매크로 블록 타입 또는 서브 매크로 블록 타입으로 계층화하여 표시될 수 있다. 구체적으로, 예측 블록의 크기는 매크로 블록 타입으로 표시될 수 있으며, 16X16, 16X8, 8X16, 8X8 중 하나가 선택될 수 있다. 만일 8X8 이 선택되면, 서브 매크로 블록 타입으로 8X8, 8X4, 4X8, 4X4 중 하나가 선택될 수 있다.
예측 블록마다 참조 픽쳐 번호와 움직임 벡터를 코딩할 수 있다. 또는, 참조 픽쳐 번호는 매크로 블록마다, 움직임 벡터는 예측 블록마다 코딩할 수도 있다. 서브 매크로 블록에서도 매크로 블록과 동일하게 코딩 방식을 결정할 수 있음은 물론이다.
스킵 매크로 블록은 현재 매크로 블록을 복원함에 있어서, 현재 매크로 블록에 대한 정보, 즉, 움직임 벡터, 참조 픽쳐 인덱스, 및 레지듀얼 데이터를 가지지 아니하고, 이전에 코딩된 참조 픽쳐 내의 매크로 블록의 화소값을 그대로 이용하는 방식으로 정의할 수 있다. 스킵 매크로 블록 코딩함에 있어서, 움직임 벡터를 이용한 움직임 보상이 수반될 수 있으며, 상기 움직임 벡터는 이웃 블록을 이용하여 유도될 수 있다. 이웃 블록으로부터 상기 움직임 벡터를 유도하는 방법은 앞서 설명한 움직임 벡터 유도 방법을 동일하게 적용할 수 있다.
스킵 모드를 이용한 슬라이스 데이터를 코딩하는 과정은 다음과 같다.
슬라이스 내의 현재 매크로 블록이 스킵 매크로 블록인지를 지시하는 플래그 정보를 획득할 수 있다.
16x16 보다 큰 매크로 블록의 경우, 상기 매크로 블록 내에서 스킵 모드를 이용하는 상기 매크로 블록의 파티션을 지시함으로써 상기 매크로 블록보다 작은 크기의 블록 단위로 스킵 모드를 적용할 수 있고, 그에 따라 코딩의 효율성을 향상시킬 수 있다.
도 2는 매크로 블록의 크기보다 작은 크기의 블록 단위로 스킵 모드를 적용하는 방법의 일 실시예를 도시한 것이다.
도 2를 참조하면, 매크로 블록의 크기가 32x32 인 경우, 16x16 블록 단위로 스킵 매크로 블록인지를 지시하는 플래그 정보를 이용할 수 있다. 상기 스킵 매크로 블록인지를 지시하는 플래그가 1인 경우에 상기 매크로 블록은 스킵 모드로 코딩된 블록이라고 정의할 수 있다. 도 2와 같이 매크로 블록 내의 좌측 상단에 위치한 매크로 블록의 파티션만이 스킵 모드로 코딩된 경우, 4개의 비트(1000)가 전송될 수 있다. 매크로 블록 내의 16x16 매크로 블록의 파티션 모두 스킵 모드로 코딩된 경우, 움직임 벡터 등 다른 정보를 파싱하지 아니하나, 상기와 같이 매크로 블록이 스킵 모드로 코딩된 매크로 블록의 파티션을 부분적으로 포함하는 경우에는 매크로 블록 타입을 파싱할 것이다. 이 경우 16x16 매크로 블록의 파티션을 가지는 매크로 블록 타입으로 표시될 수 있다.
도 3은 매크로 블록 타입 정보에 기초하여 매크로 블록 내에서 스킵 모드로 코딩된 매크로 블록의 파티션을 지시하는 방법을 도시한 블록도이다.
도 3을 참조하면, 슬라이스 레벨에서 현재 매크로 블록이 스킵 매크로 블록인지를 지시하는 플래그 정보를 파싱하고(S300), 파싱한 결과 현재 매크로 블록이 스킵 매크로 블록이 아닌 경우(아니오1)에는 매크로 블록 레벨에서 현재 매크로 블록 타입 정보를 파싱할 것이다(S310). 상기 현재 매크로 블록이 스킵 매크로 블록이 아닌 경우에는 현재 매크로 블록의 파티션 중 일부가 스킵 모드로 코딩된 경우도 포함할 수 있다. 따라서, 현재 매크로 블록이 스킵 매크로 블록인 경우(예1)에는 현재 매크로 블록의 움직임 정보 등을 파싱하지 아니하고 디코딩할 수 있다(S340). 현재 매크로 블록이 스킵 매크로 블록이 아닌 경우에는 현재 매크로 블록 타입을 파싱하고, 상기 현재 매크로 블록 타입으로부터 현재 매크로 블록의 파티션 정보를 획득할 수 있다. 상기 현재 매크로 블록의 파티션에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱할 수 있다(S320). 현재 매크로 블록의 크기가 32x32인 경우, 매크로 블록 레벨에서 현재 매크로 블록 타입을 파싱한 결과, 현재 매크로 블록 타입이 16x16으로 표시된 경우, 4개의 16x16 매크로 블록의 파티션에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱할 수 있다. 상기 플래그 정보에 따라 스킵 모드로 코딩되어 있는 파티션(예2)에 대해서는 움직임 정보 등을 파싱하지 아니하고 디코딩을 수행할 것이며(S340), 스킵 모드로 코딩되어 있지 아니한 파티션(아니오2)에 대해서는 움직임 정보, 레지듀얼 데이터를 파싱할 것이다(S330). 이는 서브 매크로 블록 레벨에서도 동일하게 적용될 수 있다.
도 4는 서브 매크로 블록 레벨에서 현재 서브 매크로 블록이 스킵 모드로 코딩되어 있는지를 지시하는 방법의 일 실시예이다. 도 4를 참조하면, 현재 매크로 블록의 크기가 32x32인 경우에는 서브 매크로 블록의 크기를 16x16으로 정의할 수 있다. 현재 매크로 블록 타입 정보를 파싱한 결과, 현재 매크로 블록 타입에 따른 매크로 블록의 파티션이 16x16인 경우, 4개의 16x16 서브 매크로 블록에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱할 수 있다(S400). 상기 파싱 결과, 스킵 모드로 코딩되어 있는 서브 매크로 블록에 대해서는 별도의 정보를 파싱하지 아니하고 디코딩을 수행할 수 있다. 그러나, 스킵 모드로 코딩되어 있지 아니한 서브 매크로 블록에 대해서는 서브 매크로 블록 타입을 파싱할 수 있고(S410), 이에 따라 서브 매크로 블록에 대한 움직임 벡터 및 참조 픽쳐 인덱스를 파싱할 수 있다(S420). 다만, 상기 서브 매크로 블록의 움직임 벡터는 서브 매크로 블록의 타입에 따른 서브 매크로 블록의 파티션에 기초하여 파싱할 수도 있다.
도 5는 현재 매크로 블록이 부분적으로 스킵 모드로 코딩되어 있는지를 지시하는 방법의 다른 일 실시예이다.
슬라이스 내의 현재 매크로 블록이 스킵 매크로 블록인지를 지시하는 플래그 정보를 파싱할 수 있다(S500). 상기 플래그 정보에 따라 현재 매크로 블록이 스킵 매크로 블록인 경우(예1)에는 움직임 정보 등을 파싱하지 아니하고 디코딩을 수행할 수 있다(S550). 그러나, 현재 매크로 블록이 스킵 매크로 블록이 아닌 경우(아니오1)에는 현재 매크로 블록의 파티션 및 상기 파티션의 스킵 모드 코딩 유무를 지시하는 플래그 정보를 파싱할 수 있다(S510).
예를 들어, 매크로 블록의 크기가 32x32 인 경우, 상기 플래그가 1이면 상기 매크로 블록의 파티션은 16x16 이고, 상기 매크로 블록의 파티션 중 적어도 하나의 파티션은 스킵 모드로 코딩되어 있는 것으로 정의할 수 있다. 반면에, 상기 플래그가 0이면 매크로 블록의 파티션은 16x16 이 아니거나, 16x16 이더라도 상기 매크로 블록의 파티션 모두 스킵 모드로 코딩되어 있지 아니한 것으로 정의할 수 있다.
이하, 상기 플래그가 위와 같이 정의된 경우를 전제로 설명하기로 한다. 따라서, 상기 플래그 정보를 파싱한 결과, 1을 획득한 경우(예2)에는 매크로 블록의 파티션이 16x16으로 설정되므로 상기 매크로 블록 타입 정보를 파싱할 필요가 없으며, 4개의 16x16 매크로 블록의 파티션에 대하여 상기 16x16 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱할 수 있다(S560). 그에 따라, 상기 16x16 매크로 블록의 파티션이 스킵 모드로 코딩된 경우(예3)에는 움직임 정보 등을 파싱하지 아니하고 디코딩을 수행할 수 있다(S550). 나아가 상기 파티션이 스킵 모드로 코딩된 경우에는 CBP 정보를 파싱하지 아니할 수도 있고, 그에 따라 전송되는 정보량을 줄임으로써 신호 처리의 효율성을 향상시킬 수 있다. 그러나, 스킵 모드로 코딩되지 아니한 경우(아니오3)에는 움직임 정보 및 레지듀얼를 파싱하고(S540) 이를 이용하여 디코딩을 수행할 수 있다(S550).
상기 플래그 정보를 파싱한 결과, 0을 획득한 경우(아니오2)에는 현재 매크로 블록 타입 정보를 파싱할 수 있다(S520). 현재 매크로 블록 타입에 따른 현재 매크로 블록의 파티션이 16x16 이 아닌 경우에는 파티션에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱할 수 있다(S530). 그러나, 현재 매크로 블록 타입에 따른 현재 매크로 블록의 파티션이 16x16 인 경우에는 4개의 파티션 모두 스킵 모드로 코딩되어 있지 아니할 것이므로 파티션에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보를 파싱하지 아니할 수 있고, 상기 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보가 0으로 유도되는 것으로 설정할 수도 있다.
상기 획득된 매크로 블록의 파티션 각각에 대하여 스킵 모드로 코딩되어 있는지를 지시하는 플래그 정보에 따라 상기 파티션이 스킵 모드로 코딩된 경우(예3)에는 움직임 정보 등을 파싱하지 아니하고 디코딩을 수행할 수 있으며, 스킵 모드로 코딩되지 아니한 경우(아니오3)에는 움직임 정보 및 레지듀얼을 파싱하여(S540), 디코딩을 수행할 수 있다(S550).
또 다른 방법으로 스킵 모드 지시를 위한 매크로 블록 타입을 새로이 정의할 수 있다. 도 6과 도 7은 부분적 스킵 모드를 나타내기 위한 매크로 블록 타입의 일 실시예이다.
매크로 블록의 크기가 16x16 보다 큰 경우, 상기 매크로 블록의 파티션 단위로 스킵 모드를 이용하는지를 나타내는 매크로 블록 타입을 정의할 수 있다.
도 6을 참조하여 매크로 블록의 크기가 32x32이고, 16x16 매크로 블록의 파티션 단위로 스킵 모드를 이용하는 경우를 예로 들어 살펴보기로 한다. 현재 매크로 블록 내의 모든 16x16 매크로 블록의 파티션이 스킵 모드로 코딩된 경우에는 앞서 설명한 바와 같이 슬라이스 레벨에서 현재 매크로 블록이 스킵 매크로 블록임을 지시하는 플래그 정보를 획득할 수 있고, 반대로 모든 16x16 매크로 블록의 파티션이 스킵 모드로 코딩되지 아니한 경우에는 현재 매크로 블록이 스킵 매크로 블록이 아님을 지시하는 플래그 정보를 획득하고 상기 현재 매크로 블록 타입 정보를 파싱할 수 있다. 이때, 16x16 매크로 블록의 파티션 일부만이 부분적으로 스킵 모드로 코딩된 경우, 현재 매크로 블록 타입은 도 7에 제시된 매크로 블록 타입으로 표시될 수 있다. 구체적으로 매크로 블록의 파티션 인덱스가 0 과 2인 16x16 매크로 블록의 파티션이 스킵 모드로 코딩되고, 매크로 블록의 파티션 인덱스가 1 과 3인 16x16 매크로 블록의 파티션이 스킵 모드로 코딩되지 아니한 경우에는 현재 매크로 블록 타입은 5 가 될 것이다(S600). 이 경우, 상기 인덱스가 0 과 2인 16x16 매크로 블록의 파티션은 움직임 정보 등 다른 정보를 파싱하지 아니하고 디코딩을 수행할 수 있으나, 상기 인덱스가 1 과 3인 16x16 매크로 블록의 파티션은 움직임 정보, 참조 픽쳐 인덱스 등을 파싱할 것이다. 상기 인덱스가 1 과 3인 16x16 매크로 블록의 파티션은 16x32 예측 블록의 크기로 설정될 수 있고, 또는 각각 16x16 예측 블록의 크기로 설정될 수도 있다.
스킵 매크로 블록의 움직임 벡터를 유도하는 방법에 살펴보도록 한다. 서브 매크로 블록의 움직임 벡터도 동일한 방법으로 유도될 수 있다.
현재 블록이 스킵 매크로 블록인 경우, 현재 블록의 이웃 블록을 이용하여 움직임 벡터를 유도할 수 있다.
예를 들어, 현재 블록의 좌측에 있는 블록을 이웃 블록 A, 상단에 있는 블록을 이웃 블록 B, 우측 상단에 있는 블록을 이웃 블록 C라 하고, 각각의 움직임 벡터를 mvA, mvB, mvC 라 하자. 현재 블록의 움직임 벡터는 상기 mvA, mvB, mvC의 수평과 수직성분의 중앙값으로 유도될 수 있고, 상기의 mvA, mvB, mvC의 평균값으로 유도될 수도 있다. 또한, 3개의 움직임 벡터 중 어느 하나의 벡터로 유도될 수 있으며, 이는 매크로 블록 타입, 참조 픽쳐 인덱스에 기초하여 결정될 수 있다. 나아가, 16x16 보다 큰 매크로 블록의 경우에는 상기 매크로 블록 또는 서브 매크로 블록보다 작은 크기의 블록 단위로 움직임 벡터를 유도함으로써 정확한 매크로 블록의 움직임 벡터를 획득할 수 있다.
도 8은 본 발명의 일 실시예로서, 매크로 블록 타입이 P 스킵 매크로 블록인 경우에 움직임 벡터를 유도하는 방법을 도시한 것이다.
도 8을 참조하면, 매크로 블록의 크기가 32x32 인 경우로서, 매크로 블록의 크기보다 작은 블록 단위, 즉, 8X8 블록 단위로 움직임 벡터를 유도할 수 있다. 구체적으로, 블록 0의 움직임 벡터는 mvA0, mvB0, mvB1의 수평과 수직 성분의 중간값, 또는 mvA0, mvB0, mvB1의 평균값으로 유도될 수 있고, mvA0, mvB0, mvB1 중 어느 하나의 움직임 벡터로 유도될 수도 있다. 블록 1의 움직임 벡터도 마찬가지로 mv0, mvB1, mvB2의 수평과 수직 성분의 중간값 등으로 유도될 수 있다. 상기 블록의 인덱스는 디코딩 순서를 의미할 수 있다.
직접 예측 모드를 이용한 화면 간 예측에 대해서 살펴보기로 한다. 직접 예측 모드는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 모드를 나타낸다. 상기 움직임 정보라 함은 움직임 벡터, 참조 픽쳐 인덱스를 포함할 수 있다. 예를 들어, 직접 예측 모드에서는 List1 참조 픽쳐 중 가장 작은 참조 인덱스를 가지는 픽쳐를 앵커 픽쳐라고 정의할 수 있다. 그리고, 상기 현재 블록과 같은 공간 위치에 있는 앵커 픽쳐의 블록을 앵커 블록이라고 정의할 수 있다.
예를 들어, 시간 직접 예측 모드에서는 상기 앵커 블록의 움직임 정보를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다. 상기 앵커 블록의 List0 방향의 움직임 벡터를 mvCol 이라 정의할 수 있다. 이때, 상기 앵커 블록의 List0 방향의 움직임 벡터가 없고, List1 방향의 움직임 벡터가 있다면 List1 방향의 움직임 벡터를 mvCol 로 할 수 있다. 여기서, B픽쳐의 경우, 시간적 또는 공간적 전후에 상관없이 임의의 두 장을 참조 픽쳐로 사용할 수 있는데, 이 때 이용되는 예측을 List0 예측, List1 예측이라 한다. 예를 들어, List0 예측은 포워드 방향에 대한 예측을, List1 예측은 백워드 방향에 대한 예측을 의미할 수 있다.
시간 직접 예측 모드에서 현재 블록의 List0 참조 픽쳐는 상기 mvCol 이 참조하는 픽쳐가 되고, List1 참조 픽쳐는 앵커 픽쳐가 된다. 만일, 상기 앵커 블록이 움직임 정보를 가지지 않는 경우 움직임 벡터의 크기는 0이 되고, 시간 직접 예측 모드의 List0 참조 픽쳐는 참조 픽쳐 번호가 0이 된다.
또한, 움직임 벡터 mvCol로부터 List0의 움직임벡터 mvL0와 List1의 움직임 벡터 mvL1을 구할 수 있다. 참조 픽쳐, 현재 픽쳐, 그리고 앵커 픽쳐 사이에서 움직임의 속도가 일정하다고 가정하면, mvL0 와 mvL1의 크기는 참조 픽쳐, 현재 픽쳐, 앵커 픽쳐의 시간 간격에 비례하게 된다. 따라서, 참조 픽쳐와 현재 픽쳐의 간격, 그리고 참조 픽쳐와 앵커 픽쳐의 간격을 이용해서 mvL0와 mvL1을 구할 수 있다. 구체적으로 살펴보면, 앵커 블록의 List0 레퍼런스 인덱스가 장기 참조 픽쳐를 참조하고 있는 경우에는 다음 수학식 1과 같이 구할 수 있다.
Figure 112017048387552-pat00001
앵커 블록의 List0 레퍼런스 인덱스가 장기 참조 픽쳐를 참조하고 있지 않은 경우에는 다음 수학식 2와 같이 구할 수 있다.
Figure 112017048387552-pat00002
상기 직접 예측 모드의 다른 예로, 공간 직접 예측 모드는 공간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 시간 직접 예측 모드와 마찬가지로, 앵커 픽쳐와 앵커블록이 움직임 정보를 구하는데 사용된다.
도 9는 공간 직접 예측 모드가 적용되는 인터 예측부(700)의 개략적인 내부 블록도를 나타낸 것이다.
인터 예측부(700)는 크게 직접 예측 모드 식별부(710), 공간 직접 예측 수행부(720) 등을 포함하며, 상기 공간 직접 예측 수행부(720)는 제 1 변수 유도부(721), 제 2 변수 유도부(722) 및 움직임 정보 예측부(723)를 포함한다. 직접 예측 모드 식별부(710)는 현재 슬라이스의 예측 모드를 식별하게 된다. 예를 들어, 현재 슬라이스의 슬라이스 타입이 P 슬라이스 또는 B 슬라이스인 경우, 직접 예측 모드가 이용될 수 있다. 이때 직접 예측 모드 중에서 시간 직접 예측 모드가 이용될 지, 공간 직접 예측 모드가 이용될 지를 나타내는 직접 예측 모드 플래그가 이용될 수 있다. 상기 직접 예측 모드 플래그는 슬라이스 헤더로부터 획득될 수 있다. 상기 직접 예측 모드 플래그에 따라 공간 직접 모드가 적용되는 경우, 먼저 현재 블록에 이웃하는 블록들의 움직임 정보를 획득할 수 있다. 예를 들어, 현재 블록의 좌측에 있는 블록을 이웃 블록 A, 상측에 있는 블록을 이웃 블록 B, 우측 상위에 있는 블록을 이웃 블록 C라 하면, 상기 이웃 블록 A,B,C의 움직임 정보를 획득할 수 있다. 제 1 변수 유도부(721)에서는 상기 이웃 블록들의 움직임 정보를 이용하여 현재 블록의 List0 또는 List1 방향에 대한 참조 픽쳐 인덱스를 유도할 수 있다. 그리고, 상기 현재 블록의 참조 픽쳐 인덱스에 기초하여 제 1 변수를 유도할 수 있다. 여기서, 상기 제 1 변수는 현재 블록의 움직임 벡터를 임의의 값으로 예측하기 위해 이용되는 변수(directZeroPredictionFlag)를 의미할 수 있다. 예를 들어, 현재 블록의 List0 또는 List1 방향에 대한 참조 픽쳐 인덱스는 상기 이웃 블록들의 참조 픽쳐 인덱스들 중에서 가장 작은 값으로 유도될 수 있다. 이 때, 다음 수학식 3이 이용될 수 있다.
Figure 112017048387552-pat00003
구체적 예로, MinPositive(0,1) = 0 이 된다. 즉, 두 개의 유효한 인덱스가 존재하는 경우 작은 값을 얻을 수 있다. 또는 MinPositive(-1,0) = 0 이 된다. 즉, 하나의 유효한 인덱스가 존재하는 경우 유효한 인덱스 값인 큰 값을 얻을 수 있다. 또는 MinPositive(-1,-1) = -1 이 된다. 즉, 두 개가 모두 유효하지 않은 인덱스인 경우, 예를 들어, 두 개의 이웃 블록이 모두 화면내 예측 모드로 코딩된 블록이거나 두 개의 이웃 블록을 이용할 수 없는 경우에는 큰 값인 -1 값을 얻게 된다. 결국, 결과값이 유효하지 않은 값이 나오려면 하나라도 유효한 값이 있으면 안된다.
먼저, 상기 제 1 변수의 초기값으로, 상기 제 1 변수를 0으로 셋팅할 수 있다. 또한, 상기 유도된 List0 또는 List1 방향에 대한 참조 픽쳐 번호가 모두 0보다 작을 경우, 상기 현재 블록의 List0 또는 List1 방향에 대한 참조 픽쳐 인덱스는 0으로 셋팅될 수 있다. 그리고, 상기 제 1 변수는, 상기 현재 블록의 참조 픽쳐가 존재하지 않음을 나타내기 위한 값으로 셋팅될 수 있다. 이 때, 상기 유도된 List0 또는 List1 방향에 대한 참조 픽쳐 번호가 모두 0보다 작은 경우란, 예를 들면, 상기 이웃 블록이 화면내 예측 모드로 코딩된 블록일 경우, 또는 상기 이웃 블록이 이용가능하지 않게 되는 경우를 의미할 수 있다. 이러한 경우, 상기 제 1 변수를 1로 셋팅함으로서 현재 블록의 움직임 벡터를 0으로 셋팅할 수 있게 된다.
본 실시예에서는 3개의 이웃 블록을 이용하게 되므로, 결국 3개의 이웃 블록 모두가 화면내 예측 모드로 코딩된 블록이거나 이용할 수 없는 경우 현재 블록의 참조 픽쳐 인덱스가 유효하지 않은 -1 값을 가질 수 있게 된다. 따라서, 현재 블록의 참조 픽쳐 인덱스가 모두 유효하지 않은 경우 상기 제 1 변수가 1로 셋팅될 수 있다. 즉, 현재 블록이 사용할 참조 픽쳐가 존재하지 않는 경우에 상기 제 1 변수가 1로 셋팅될 수 있다.
제 2 변수 유도부(722)에서는 앵커 픽쳐 내의 앵커 블록의 움직임 정보를 이용하여 제 2 변수를 유도할 수 있다. 여기서, 상기 제 2 변수는 현재 블록의 움직임 벡터를 임의의 값으로 예측하기 위해 이용되는 변수(colZeroFlag)를 의미할 수 있다. 예를 들어, 앵커 블록의 움직임 정보가 일정한 조건을 만족하는 경우에 상기 제 2 변수를 1로 셋팅할 수 있다. 그리고, 상기 제 2 변수가 1로 셋팅되는 경우, 현재 블록의 List0 또는 List1 방향에 대한 움직임 벡터를 0으로 셋팅할 수 있게 된다. 상기 일정한 조건은 다음과 같을 수 있다. 첫째, List1 방향에 대한 참조 픽쳐 중 가장 작은 참조 인덱스를 가지는 픽쳐가 단기 참조 픽쳐이어야 한다. 둘째, 앵커 블록의 참조하는 픽쳐의 참조 인덱스가 0 이어야 한다. 셋째, 앵커 블록의 움직임 벡터의 수평 성분, 수직 성분 크기가 ±1 화소 이하이어야 한다. 이처럼, 상기 일정한 조건을 모두 만족하는 경우에 움직임이 거의 없는 영상에 가깝다고 판단하여 현재 블록의 움직임 벡터를 0으로 셋팅하는 것이다.
움직임 정보 예측부(723)에서는 상기 유도된 제 1 변수와 제 2 변수에 기초하여 현재 블록의 움직임 정보를 예측할 수 있다. 예를 들어, 상기 제 1 변수가 1로 셋팅될 경우, 현재 블록의 List0 또는 List1 방향에 대한 움직임 벡터를 0으로 셋팅할 수 있다. 또한, 상기 제 2 변수를 1로 셋팅할 경우, 현재 블록의 List0 또는 List1 방향에 대한 움직임 벡터를 0으로 셋팅할 수 있게 된다. 여기서, 0 또는 1로 셋팅하는 것은 일실시예일 뿐이며, 상기 제 1 변수 또는 상기 제 2 변수는 다른 일정한 값으로 셋팅하여 이용할 수도 있다.
상기 일정한 조건을 만족하지 않는 경우에는 현재 픽쳐내의 이웃 블록들의 움직임 정보로부터 현재 블록의 움직임 정보를 유도할 수 있다. 예를 들어, 움직임 벡터의 경우, 상기 스킵 매크로 블록의 움직임 벡터 유도 방법이 동일하게 적용될 수 있다. 참조 픽쳐 인덱스는 좌측, 상단, 우측상단에 위치한 움직임 벡터의 참조 픽쳐 인덱스 가운데 최소값을 계산하고, 이를 현재 블록의 참조 픽쳐 인덱스로 할 수 있다.
현재 매크로 블록이 직접 예측 모드로 코딩되는지를 지시하는 방법을 살펴보기로 한다. 이는 서브 매크로 블록 단위에서도 동일한 방법이 적용될 수 있음을 이해하여야 한다.
도 10은 스킵 또는 직접 모드 지시 정보를 이용하여 슬라이스 데이터를 디코딩하는 과정을 도시한 블록도이다.
슬라이스내의 현재 매크로 블록이 스킵 매크로 블록인지를 지시하는 플래그 정보를 파싱할 수 있다(S1000). 상기 플래그 정보는 슬라이스 레이어에서 획득될 수 있다. 상기 플래그 정보를 파싱할 결과, 현재 매크로 블록이 스킵 매크로 블록인 경우(예1), 움직임 정보 및 레지듀얼 데이터를 파싱하지 아니하고 디코딩을 수행할 수 있다(S1050). 그러나, 현재 매크로 블록이 스킵 매크로 블록이 아닌 경우(아니오1), 현재 매크로 블록 타입을 파싱할 수 있다(S1010). 상기 현재 매크로 블록 타입에 따른 현재 매크로 블록의 파티션 각각에 대하여 스킵 또는 직접 모드 지시 정보를 파싱할 수 있다(S1020). 상기 스킵 또는 직접 모드 지시 정보라 함은 매크로 블록의 파티션이 스킵 모드 또는 직접 예측 모드로 코딩되어 있는지를 나타내는 정보를 의미할 수 있다. 현재 매크로 블록의 크기가 32x32 인 경우를 예로 들어 설명하기로 한다. 현재 매크로 블록 타입 정보를 파싱한 결과, 상기 현재 매크로 블록이 화면간 예측 모드로 코딩되고, 상기 현재 매크로 블록의 파티션이 16x32 인 경우 스킵 또는 직접 모드 지시 정보로 2 비트가 사용될 것이다. 만일, 매크로 블록의 파티션 인덱스 0 이 스킵 또는 직접 모드로 코딩되고, 매크로 블록의 파티션 인덱스 1 은 스킵 또는 직접 모드로 코딩되지 아니한 경우, 스킵 또는 직접 모드 지시 정보로 10을 획득할 수 있다. 상기 스킵 또는 직접 모드 지시 정보를 파싱한 후, CBP(Coded Block Pattern) 정보를 파싱할 수 있다(S1030). 상기 CBP 정보는 현재 블록이 레지듀얼 데이터를 포함하고 있는지를 나타내는 정보를 의미할 수 있다. 따라서, 상기 CBP 정보를 파싱함으로써, 현재 매크로 블록의 파티션이 스킵 모드로 코딩되어 있는지 직접 예측 모드로 코딩되어 있는지를 알 수 있다. 예를 들어, 현재 매크로 블록의 파티션에 대한 CBP 정보를 파싱할 결과 1을 획득한 경우, 상기 파티션은 직접 예측 모드로 코딩된 것으로 볼 수 있다. 스킵 또는 직접 모드 지시 정보에 기초하여 현재 매크로 블록의 파티션 각각에 대하여 스킵 또는 직접 모드로 코딩되어 있는지를 판단하고, 스킵 모드 또는 직접 예측 모드로 코딩되지 아니한 파티션의 경우(아니오2)에는 움직임 정보 및 레지듀얼 데이터를 파싱하여(S1040) 디코딩을 수행할 수 있다(S1050). 그러나, 스킵 모드 또는 직접 예측 모드로 코딩된 파티션의 경우(예2)에는 상기 파싱한 CBP 정보에 기초하여 파티션이 스킵 모드로 코딩된 것인지 직접 예측 모드로 코딩된 것인지를 판별할 것이다(S1060). 그에 따라, 스킵 모드로 코딩된 경우(예3)에는 움직임 정보 등을 파싱하지 아니하고 디코딩을 수행할 수 있으며(S1040), 직접 예측 모드로 코딩된 경우(아니오3)에는 레지듀얼 데이터를 파싱한 후(S1070), 상기 레지듀얼 데이터를 이용하여 디코딩을 수행할 수 있다(S1050). 직접 예측 모드로 코딩된 경우에도 스킵 모드로 코딩된 경우와 동일하게 움직임 벡터를 유도할 수 있으며, 슬라이스 타입이 B 슬라이스인 경우뿐만 아니라, P 슬라이스인 경우에도 직접 예측 모드를 이용할 수 있다.
슬라이스 타입이 B 슬라이스인 경우, 매크로 블록 타입 정보는 예측 블록의 크기 정보, 예측 방향 정보 등을 포함할 수 있다. 다만, 상기 스킵 또는 직접 모드 지시 정보에 따라 현재 매크로 블록의 파티션이 스킵 또는 직접 모드로 코딩되어 있음을 지시하는 경우, 상기 파티션의 움직임 벡터는 유도되며, 따라서 상기 파티션의 예측 방향 정보가 유도될 수 있다. 이 경우 매크로 블록 타입 정보는 불필요한 예측 방향 정보를 포함하는 것으로 볼 수 있다. 따라서, 매크로 블록 타입을 새롭게 정의함으로써, 앞서 설명한 스킵 또는 직접 모드 지시 정보를 이용한 슬라이스 데이터의 디코딩을 효율적으로 하고자 한다. 예를 들어, B 슬라이스에 대한 매크로 블록 타입을 B_direct_32X32, B_32X32, B_32X16, B_16X32, B_16X16으로 설정할 수 있다. 다만, 매크로 블록 타입을 재설정한 경우, 상기 도 10에서 현재 매크로 블록의 파티션이 스킵 모드 또는 직접 예측 모드로 코딩되어 있는지를 판단하고, 스킵 모드 또는 직접 예측 모드로 코딩된 경우에는 앞서 설명한 바와 동일한 과정으로 디코딩을 수행할 것이나, 스킵 모드 또는 직접 예측 모드로 코딩되지 아니한 경우에는 움직임 정보 및 레지듀얼 데이터 뿐 만 아니라, 수신된 비트스트림으로부터 매크로 블록의 예측 방향에 대한 정보도 파싱할 것이다.
본 발명은 비디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.

Claims (10)

  1. 비디오 신호를 디코딩하는 방법에 있어서,
    현재 블록이 4개의 서브 블록으로 분할되는지 여부를 지시하는 정보를 상기 비디오 신호로부터 획득하는 단계;
    상기 현재 블록이 분할되는 경우, 상기 4개의 서브 블록 각각에 대하여 스킵 모드로 코딩되는지 여부를 지시하는 플래그 정보를 상기 비디오 신호로부터 획득하는 단계;
    상기 플래그 정보에 따라 상기 4개의 서브 블록 중 특정 서브 블록이 스킵 모드로 코딩된 경우, 상기 특정 서브 블록의 이웃 블록으로부터 상기 특정 서브 블록에 대한 움직임 정보를 획득하여 디코딩을 수행하는 단계; 및
    상기 플래그 정보에 따라 상기 특정 서브 블록이 스킵 모드로 코딩되지 않은 경우, 상기 비디오 신호로부터 상기 특정 서브 블록에 대한 움직임 정보 및 레지듀얼 데이터를 획득하여 디코딩을 수행하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 특정 서브 블록의 이웃 블록은 상기 특정 서브 블록의 좌측 이웃 블록, 상단 이웃 블록, 또는 우측 상단 이웃 블록을 포함하는, 방법.
  3. 제1항에 있어서,
    상기 플래그 정보에 따라 상기 특정 서브 블록이 스킵 모드로 코딩된 경우, 상기 특정 서브 블록에 대한 레지듀얼 데이터는 상기 비디오 신호로부터 획득되지 않는, 방법.
  4. 제1항에 있어서,
    상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 현재 블록은 32×32 블록 또는 64×64 블록에 해당하는, 방법.
  6. 비디오 신호를 디코딩하는 디코딩 장치에 있어서,
    현재 블록이 4개의 서브 블록으로 분할되는지 여부를 지시하는 정보를 상기 비디오 신호로부터 획득하고,
    상기 현재 블록이 분할되는 경우, 상기 4개의 서브 블록 각각에 대하여 스킵 모드로 코딩되는지 여부를 지시하는 플래그 정보를 상기 비디오 신호로부터 획득하고,
    상기 플래그 정보에 따라 상기 4개의 서브 블록 중 특정 서브 블록이 스킵 모드로 코딩되지 않은 경우, 상기 비디오 신호로부터 상기 특정 서브 블록에 대한 움직임 정보 및 레지듀얼 데이터를 획득하도록 구성된 엔트로피 디코딩부; 및
    상기 플래그 정보에 따라 상기 특정 서브 블록이 스킵 모드로 코딩되지 않은 경우, 상기 비디오 신호로부터 획득된 움직임 정보 및 레지듀얼 데이터를 이용하여 디코딩을 수행하고,
    상기 플래그 정보에 따라 상기 특정 서브 블록이 스킵 모드로 코딩된 경우, 상기 특정 서브 블록의 이웃 블록으로부터 상기 특정 서브 블록에 대한 움직임 정보를 획득하여 디코딩을 수행하도록 구성된 인터 예측부를 포함하는, 디코딩 장치.
  7. 제6항에 있어서,
    상기 특정 서브 블록의 이웃 블록은 상기 특정 서브 블록의 좌측 이웃 블록, 상단 이웃 블록, 또는 우측 상단 이웃 블록을 포함하는, 디코딩 장치.
  8. 제6항에 있어서,
    상기 플래그 정보에 따라 상기 특정 서브 블록이 스킵 모드로 코딩된 경우, 상기 특정 서브 블록에 대한 레지듀얼 데이터는 상기 비디오 신호로부터 획득되지 않는, 디코딩 장치.
  9. 제6항에 있어서,
    상기 움직임 정보는 움직임 벡터 및 참조 픽쳐 인덱스를 포함하는, 디코딩 장치.
  10. 제6항에 있어서,
    상기 현재 블록은 32×32 블록 또는 64×64 블록에 해당하는, 디코딩 장치.
KR1020170062822A 2008-10-06 2017-05-22 비디오 신호 처리 방법 및 장치 KR101842205B1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US10322108P 2008-10-06 2008-10-06
US61/103,221 2008-10-06
US11969708P 2008-12-03 2008-12-03
US61/119,697 2008-12-03
US12006008P 2008-12-05 2008-12-05
US61/120,060 2008-12-05
US14381309P 2009-01-11 2009-01-11
US61/143,813 2009-01-11
US15442009P 2009-02-22 2009-02-22
US61/154,420 2009-02-22
US15905809P 2009-03-10 2009-03-10
US61/159,058 2009-03-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160100012A Division KR101740450B1 (ko) 2008-10-06 2016-08-05 비디오 신호 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032107A Division KR101949749B1 (ko) 2008-10-06 2018-03-20 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170059434A KR20170059434A (ko) 2017-05-30
KR101842205B1 true KR101842205B1 (ko) 2018-03-26

Family

ID=42154328

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020090094486A KR101648776B1 (ko) 2008-10-06 2009-10-06 비디오 신호 처리 방법 및 장치
KR1020160100012A KR101740450B1 (ko) 2008-10-06 2016-08-05 비디오 신호 처리 방법 및 장치
KR1020170062822A KR101842205B1 (ko) 2008-10-06 2017-05-22 비디오 신호 처리 방법 및 장치
KR1020180032107A KR101949749B1 (ko) 2008-10-06 2018-03-20 비디오 신호 처리 방법 및 장치
KR1020190016422A KR102081945B1 (ko) 2008-10-06 2019-02-13 비디오 신호 처리 방법 및 장치
KR1020200021151A KR102220396B1 (ko) 2008-10-06 2020-02-20 비디오 신호 처리 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020090094486A KR101648776B1 (ko) 2008-10-06 2009-10-06 비디오 신호 처리 방법 및 장치
KR1020160100012A KR101740450B1 (ko) 2008-10-06 2016-08-05 비디오 신호 처리 방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020180032107A KR101949749B1 (ko) 2008-10-06 2018-03-20 비디오 신호 처리 방법 및 장치
KR1020190016422A KR102081945B1 (ko) 2008-10-06 2019-02-13 비디오 신호 처리 방법 및 장치
KR1020200021151A KR102220396B1 (ko) 2008-10-06 2020-02-20 비디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
EP (2) EP2207357A1 (ko)
KR (6) KR101648776B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675730B2 (en) 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
EP3907999B1 (en) 2010-09-02 2023-11-22 LG Electronics, Inc. Inter prediction
CN103392338A (zh) * 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
EP4447452A2 (en) 2016-10-04 2024-10-16 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
KR20230010060A (ko) 2016-10-04 2023-01-17 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
WO2018066992A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066993A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018066990A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516640A (ja) 2003-09-07 2007-06-21 マイクロソフト コーポレーション インターレース・ビデオの符号化および復号
JP2008136232A (ja) * 2002-07-15 2008-06-12 Hitachi Ltd 動画像復号化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363936B2 (en) * 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136232A (ja) * 2002-07-15 2008-06-12 Hitachi Ltd 動画像復号化方法
JP2007516640A (ja) 2003-09-07 2007-06-21 マイクロソフト コーポレーション インターレース・ビデオの符号化および復号

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOEL JUNG et al., "Competition based scheme for motion vector selection and coding", Video Coding Experts Group 29th meeting, 18, July, 2006, VCEG-AC06.*

Also Published As

Publication number Publication date
KR20180031664A (ko) 2018-03-28
KR102220396B1 (ko) 2021-02-24
KR20190017856A (ko) 2019-02-20
KR102081945B1 (ko) 2020-02-26
KR20100039247A (ko) 2010-04-15
KR20160097182A (ko) 2016-08-17
KR20200020773A (ko) 2020-02-26
EP2207356A1 (en) 2010-07-14
EP2207357A1 (en) 2010-07-14
KR101648776B1 (ko) 2016-08-17
KR20170059434A (ko) 2017-05-30
KR101949749B1 (ko) 2019-02-19
KR101740450B1 (ko) 2017-05-26

Similar Documents

Publication Publication Date Title
KR102436983B1 (ko) 비디오 신호 처리 방법 및 장치
KR101842205B1 (ko) 비디오 신호 처리 방법 및 장치
KR101997040B1 (ko) 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101821217B1 (ko) 비디오 신호 처리 방법 및 장치
KR101316060B1 (ko) 인터 예측 부호화된 동영상 복호화 방법
KR101456500B1 (ko) 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101691553B1 (ko) 영상 복호화 방법 및 장치
KR102333745B1 (ko) 비디오 신호 처리 방법 및 장치
KR101882949B1 (ko) 영상 부호화 방법 및 장치, 및 컴퓨터로 판독가능한 기록매체
KR101783965B1 (ko) 영상 복호화 방법 및 장치
WO2020012449A1 (en) Shape dependent interpolation order
KR101617796B1 (ko) 영상 복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant