KR101527148B1 - 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법 - Google Patents

인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법 Download PDF

Info

Publication number
KR101527148B1
KR101527148B1 KR1020080077939A KR20080077939A KR101527148B1 KR 101527148 B1 KR101527148 B1 KR 101527148B1 KR 1020080077939 A KR1020080077939 A KR 1020080077939A KR 20080077939 A KR20080077939 A KR 20080077939A KR 101527148 B1 KR101527148 B1 KR 101527148B1
Authority
KR
South Korea
Prior art keywords
reference picture
block
current block
deblocking filtering
image
Prior art date
Application number
KR1020080077939A
Other languages
English (en)
Other versions
KR20100019088A (ko
Inventor
김하윤
김해광
문주희
이영렬
전병우
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080077939A priority Critical patent/KR101527148B1/ko
Publication of KR20100019088A publication Critical patent/KR20100019088A/ko
Application granted granted Critical
Publication of KR101527148B1 publication Critical patent/KR101527148B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction

Abstract

본 발명은 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와 방법에 관한 것이다.
본 발명은 영상의 현재 블록을 예측하는 인터 예측 장치에 있어서, 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하여 예측 블록을 생성하고 출력하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
본 발명에 의하면, 부호화하고자 하는 현재 블록의 움직임을 효율적으로 추정하고 보상함으로써 예측의 효율을 향상시키고, 그를 통해 영상의 부호화 및 복호화 효율을 향상시킬 수 있다.
영상, 부호, 복호, 인터, 예측, 참조 픽처, 움직임, 추정, 보상

Description

인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와 방법{Inter Prediction Apparatus and Video Encoding/Decoding Apparatus and Method Using Same}
본 발명은 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와 방법에 관한 것이다. 더욱 상세하게는, 영상을 부호화하거나 복호화하는 데 있어서, 부호화 또는 복호화하고자 하는 현재 블록의 움직임을 효율적으로 추정하고 보상함으로써 예측의 효율을 향상시키고, 그를 통해 영상의 부호화 및 복호화 효율을 향상시키기 위한 장치 및 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다.
이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 정수형의 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT'라 칭함), 변환 블록 크기의 움직임 추정 및 보상(Variable Block Size Motion Estimation and Compensation), 양자 화(Quantization), 엔트로피 부호화(Entropy Coding) 등으로 구성되어 있다.
한편, H.264에 따른 움직임 추정 및 보상의 경우, 복수 개의 시점에서의 참조 픽처(Reference Picture)를 사용하기는 하지만, 하나의 시점에서는 하나의 참조 픽처만을 사용해서, 현재 블록의 움직임을 추정하여 보상함으로써 움직임을 예측하는 데에 따른 효율이 저하되는 문제점이 있다. 한 시점에서 하나의 참조 픽처만을 이용하여 움직임을 예측하면, 움직임 예측에 있어서 더욱 좋은 참조 픽처를 사용할 수 있는 가능성이 배제되어 움직임 예측의 효율이 저하된다.
전술한 문제점을 해결하기 위해 본 발명은, 부호화하고자 하는 현재 블록의 움직임을 효율적으로 추정하고 보상함으로써 예측의 효율을 향상시키고, 그를 통해 영상의 부호화 및 복호화 효율을 향상시키기는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상의 현재 블록을 예측하는 인터 예측 장치에 있어서, 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하여 예측 블록을 생성하고 출력하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 영상의 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하는 예측 부; 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 잔차 블록을 변환하고 양자화하는 변환/양자화부; 및 양자화된 잔차 블록을 부호화하여 비트스트림을 출력하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 영상의 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하는 예측 단계; 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계; 잔차 블록을 변환하고 양자화하는 변환/양자화 단계; 및 양자화된 잔차 블록을 부호화하여 비트스트림을 출력하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상의 현재 블록을 예측하는 인터 예측 장치에 있어서, 움직임 벡터와 참조 픽처 식별자가 입력되면, 참조 픽처 식별자를 이용하여 동일한 시점에서의 복수 개의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 특정 참조 픽처에서 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록을 예측하고 예측 블록을 출력하는 것을 특징으로 하는 인터 예측 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림을 복호화하여 잔차 블록, 움직임 벡터 및 참조 픽처 식별자를 추출하는 복호화부; 잔차 블록을 역 양자화하고 역 변환하는 역 양자화/역 변환부; 참조 픽 처 식별자를 이용하여 동일한 시점에서의 복수 개의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 특정 참조 픽처에서 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하는 예측부; 및 역 변환된 잔차 블록에 예측 블록을 가산하여 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림을 복호화하여 잔차 블록, 움직임 벡터 및 참조 픽처 식별자를 추출하는 복호화 단계; 잔차 블록을 역 양자화하고 역 변환하는 역 양자화/역 변환 단계; 참조 픽처 식별자를 이용하여 동일한 시점에서의 복수 개의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 특정 참조 픽처에서 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하는 예측 단계; 및 역 변환된 잔차 블록에 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 부호화하고자 하는 현재 블록의 움직임을 효율적으로 추정하고 보상함으로써 예측의 효율을 향상시키고, 그를 통해 영상의 부호화 및 복호화 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서 는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 영상을 구성하는 픽처들을 나타낸 예시도이다.
영상을 부호화하는 기법은 다양한데, 대표적으로 영상을 화소 단위로 분할하여 화소 단위로 부호화할 수도 있고 영상을 블록 단위로 분할하여 블록 단위로 부호화할 수도 있다. 블록 단위로 부호화하는 경우, 영상을 구성하는 여러 픽처(Picture) 중 부호화하고자 하는 하나의 픽처는 매크로블록(Macroblock)과 매크로블록을 구성하는 서브 블록(Sub Block) 등으로 나누어질 수 있으며, 나누어진 블록 단위로 예측되고 부호화가 수행된다.
통상적으로 영상은 1초 동안에 30장의 픽처로 구성되므로, 하나의 픽처와 이웃한 픽처 간에는 픽처 간의 영상의 차이가 작기 때문에, 인간의 눈으로 그 차이를 구분하기가 매우 어렵다. 그로 인해, 영상이 1초 동안에 30장의 픽처로 출력되면, 인간은 각 픽처가 연속적인 것으로 인식한다.
따라서, 이전 픽처와 현재 픽처의 영상이 유사하다면, 이전 픽처를 구성하고 있는 이미 알고 있는 영상의 화소값으로부터 현재 픽처의 미지의 화소값을 예측할 수 있다. 이와 같은 예측 기법을 인터 예측(Inter Prediction)이라 한다. 이러한 인터 예측은 움직임 예측(Motion Prediction) 기술을 기반으로 이루어진다. 움직임 예측은 시간 축을 기준으로 이전 픽처를 참조하거나 이전 픽처와 미래 픽처를 모두 참조하는 방식으로 수행된다. 현재 픽처를 부호화하거나 복호화하는 데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
도 1을 참조하면, 영상은 일련의 정지 영상(Still Image)으로 구성된다. 이 정지 영상들은 픽쳐 그룹(GOP: Group of Picture) 단위로 구분된다. 각 정지 영상을 픽처 또는 프레임(Frame)이라 한다. 하나의 픽쳐 그룹에는 I 픽처(110), P 픽처(120), B 픽처(130)가 포함된다. I 픽처(110)는 참조 픽처를 사용하지 않고 자체적으로 부호화되는 픽처이며, P 픽처(120)와 B 픽처(130)는 참조 픽처를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation)을 수행하여 부호화되는 픽처이다. 특히, B 픽처(130)는 과거의 픽처와 미래의 픽처를 각각 순방향 및 역방향 즉, 양방향으로 예측하여 부호화되는 픽처이다.
도 1을 참조할 때, P 픽처(120)를 부호화하기 위한 움직임 추정과 움직임 보상은 I 픽처(110)를 참조 픽처로서 이용한다. B 픽처(130)를 부호화하기 위한 움직임 추정 및 움직임 보상은 I 픽처(110)와 P 픽처(120)를 참조 픽처로서 이용한다.
이와 같이, H.264에서는 하나의 참조 픽처만 사용하는 것이 아니라 다중 픽처를 사용하여 움직임을 추정하고 보상할 수 있다. 하지만, 이 경우, 하나의 시점에서는 하나의 참조 픽처만 사용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(200)는 예측부(210), 감산부(220), 변환/양자화부(230), 부호화부(240), 역 양자화/역 변환부(250), 가산부(260) 및 디블로킹 필터링부(270)를 포함하여 구성될 수 있다.
이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측부(210)는 영상의 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(210)는 인터 예측(Inter Prediction) 등을 이용하여 영상에서 부호화하고자 하는 현재 블록(Current Block)의 각 화소값을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 갖는 예측 블록(Predicted Block)을 생성한다. 이를 위해, 예측부(210)는 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하여 출력한다. 여기서, 동일한 시점에서의 복수 개의 참조 픽처는 현재 블록이 포함된 현재 픽처가 아닌 현재 픽처 이전의 어느 한 시점의 픽처를 부호화한 후 복호화하여 생성된 복수 개의 참조 픽처를 말한다.
또한, 예측부(210)는 현재 블록의 움직임을 추정할 때, 동일한 시점에서의 복수 개의 참조 픽처 중 움직임을 추정하는 데 사용된 참조 픽처를 식별하기 위한 참조 픽처 식별자(Reference Picture Identifier) 및 움직임 벡터(Motion Vector)를 추가로 생성할 수 있다.
감산부(220)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(220)는 현재 블록의 각 화소의 원 화소값(Original Pixel Value)과 예측 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔차 신호(Residual Signal)를 갖는 잔차 블록을 생성한다.
변환/양자화부(230)는 잔차 블록을 주파수 영역으로 변환(Transform)하고 변환된 잔차 블록을 양자화(Quantization)한다. 즉, 변환/양자화부(230)는 감산부(220)에 의해 생성된 잔차 블록을 주파수 영역(Frequency Domain)으로 변환하여 주파수 계수(Frequency Coefficient)를 갖는 잔차 블록을 생성하고 주파수 계수를 양자화한다. 여기서, 변환/양자화부(230)는 잔차 블록을 변환하는 데 있어서, 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(Discrete Cosine Transform Based Transform) 등과 같은 시간축의 화상 신호를 주파수축으로 변환하 는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 또한, 변환/양자화부(230)는 잔차 블록의 주파수 계수를 양자화하는 데 있어서, 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix)를 이용하거나 그를 계량한 양자화 방법 등을 이용할 수 있다.
부호화부(240)는 변환/양자화부(230)에 의해 양자화된 잔차 블록의 주파수 계수들을 부호화하여 비트스트림을 생성한다. 또한, 부호화부(240)는 예측부(210)로부터 움직임 벡터 및 참조 픽처 식별자가 전달되면, 잔차 블록의 양자화된 주파수 계수와 함께 부호화하여 비트스트림을 출력할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
역 양자화/역 변환부(250)는 변환/양자화부(230)에 의해 변환되고 양자화된 잔차 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)한다. 즉, 역 양자화/역 변환부(250)는 잔차 블록의 양자화된 주파수 계수를 역 양자화하고 역양자화된 주파수 계수를 역 변환하여 시간축상의 화소 신호를 갖는 잔차 블록을 복원한다.
가산부(260)는 역 양자화/역 변환부(250)에 의해 역 양자화되고 역 변환된 잔차 블록에 예측부(210)에서 예측한 예측 블록을 가산하여 현재 블록을 복원한다.
디블로킹 필터링부(270)는 가산부(260)에 의해 복원된 현재 블록을 디블로킹 필터링(Deblcking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
한편, 가산부(260)에서 복원된 현재 블록은 예측부(210)로 직접 입력되거나 디블로킹 필터링부(270)를 통해 예측부(210)로 입력될 수 있다. 즉, 예측부(210)는 가산부(260)에 의해 복원된 현재 블록과 디블로킹 필터링부(270)에 의해 디블로킹 필터링된 현재 블록을 모두 수신할 수 있다. 그리고 예측부(210)는 가산부(260)에 의해 복원된 현재 블록을 픽처 단위로 저장하여 디블로킹 전 참조 픽처를 생성하고 저장하며, 디블로킹 필터링부(270)에 의해 디블로킹 된 현재 블록을 픽처 단위로 저장하여 디블로킹 후 참조 픽처를 생성하고 저장할 수 있다. 이와 같은 디블로킹 전 참조 픽처와 디블로킹 후 참조 픽처가 전술한 동일한 시점의 복수 개의 참조 픽처로서 저장된다.
또한, 도 2에서는 예측부(210)가 가산부(260) 및 디블로킹 필터링부(270)와 각각 연결되어 가산부(260)로부터 디블로킹 필터링하기 전의 참조 픽처를 수신하고 디블로킹 필터링부(270)로부터 디블로킹 필터링한 후 참조 픽처를 수신하는 것으로 도시하고 설명했지만, 예측부(210)가 디블로킹 필터링부(270) 하고만 연결되어 디블로킹 필터링부(270)로부터 디블로킹 필터링하기 전의 참조 픽처와 디블로킹 필터링한 후 참조 픽처를 수신하여 저장할 수도 있다. 이때, 디블로킹 필터링부(270)는 디블로킹 필터링한 현재 블록과 디블로킹 필터링하지 않은 현재 블록을 모두 예측부(270)로 전달한다.
도 3은 본 발명의 일 실시예에 따라 움직임을 예측하는 과정을 설명하기 위한 예시도이다.
도 1을 통해서 전술한 통상적인 인터 예측에서는 움직임 추정과 움직임 보상을 위해 현재 픽처 이전 또는 이후의 참조 픽처를 이용하는데, 각 시점(Time Point)마다 하나의 참조 픽처만을 이용한다. 하지만, 본 발명에서는 동일한 시점에서 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상한다.
도 3을 참조하면, 현재 픽처(310)의 현재 블록(312)의 움직임을 예측하기 위해, 예측부(210)는 동일한 시점에서의 복수 개의 참조 픽처인 디블록킹 전 참조 픽처(320)와 디블로킹 후 참조 픽처(330) 모두에 탐색 영역을 설정하고, 탐색 영역에서 현재 블록과 가장 유사한 블록을 검색한 후에 검색된 유사 블록의 위치와 현재 블록의 위치의 차이를 움직임 벡터로서 결정한다. 또한, 예측부(210)는 가장 유사한 블록이 검색된 참조 픽처를 후술할 영상 복호화 장치에서 식별할 수 있도록, 참조 픽처 식별자를 생성한다. 여기서, 참조 픽처 식별자는 참조 픽처 번호일 수 있다. 움직임 벡터가 결정되면 예측부(210)는 움직임이 추정된 참조 픽처(즉, 참조 픽처 식별자에 의해 식별되는 참조 픽처)에서 움직임 벡터에 의해 지시되는 블록을 예측 블록으로서 생성한다.
본 발명에서, 동일한 시점에서의 복수 개의 참조 픽처란 도 3에 도시한 바와 같이, 시간축으로 동일한 시점에 존재하는 복수 개의 참조 픽처를 말한다. 통상적 인 움직임 추정 및 보상에서는 시간축상으로 동일한 시점에서는 하나의 참조 픽처만을 이용하지만, 본 발명에서는 시간축상으로 동일한 시점에서 두 개 이상 복수 개의 참조 픽처를 이용한다. 여기서, 동일한 시점에서의 복수 개의 참조 픽처는 도시한 바와 같이, 디블로킹 전 참조 픽처와 디블로킹 후 참조 픽처를 포함할 수 있지만, 반드시 이에 한정되지 않고 다양한 참조 픽처일 수 있다.
디블로킹 전 참조 픽처란 특정 시점에서 부호화된 후 복호화되어 복원되는 참조 픽처를 디블로킹 필터링하지 않고 그대로 저장한 참조 픽처를 말하며, 디블로킹 후 참조 픽처란 그 특정 시점에서 부호화된 후 복호화되어 복원되는 참조 픽처를 디블로킹 필터링하여 저장한 참조 픽처를 말한다. 따라서, 디블로킹 전 참조 픽처와 디블로킹 후 참조 픽처는 시간축상에서 동일한 시점에서의 참조 픽처이지만 디블로킹 필터링의 수행 여부만이 다르다.
디블로킹 필터링은 블록 왜곡을 감소시키기 위해 수행하는 데, 디블로킹 필터링한 참조 픽처에 현재 부호화하고자 하는 현재 픽처의 현재 블록과 가장 유사한 블록이 항상 존재하는 것은 아니다. 즉, 디블로킹 필터링한 참조 픽처에 현재 블록과 가장 유사한 블록이 존재할 수도 있고, 디블로킹 필터링하지 않은 참조 픽처에 현재 블록과 가장 유사한 블록이 존재할 수 있다. 하지만, 통상적인 움직임 예측에서는 디블로킹 필터링한 참조 픽처나 디블로킹 필터링을 하지 않은 참조 픽처 중 하나만을 이용하여 움직임을 예측하기 때문에, 예측 효율이 저하된다. 따라서, 본 발명의 일 실시예에서는 두 참조 픽처를 모두 사용하는 것이다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치는 도 1을 통해 전술한 영상 부호화 장치에서는 예측부(210)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치를 예측부(210)라 약칭한다.
본 발명의 일 실시예에 따른 예측부(210)는 영상의 현재 블록을 예측하는 인터 예측 장치로서, 현재 블록이 입력되면 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 움직임을 추정하고 보상함으로써 현재 블록을 예측하고 예측 블록을 생성하여 출력한다.
이를 위해, 본 발명의 일 실시예에 따른 예측부(210)는 동일 시점 참조 픽처 저장부(410), 움직임 추정부(420) 및 움직임 보상부(430)를 포함하여 구성될 수 있다.
동일 시점 참조 픽처 저장부(410)는 가산부(260) 및 디블로킹 필터링부(270)로부터 동일한 시점에서의 복수 개의 참조 픽처를 입력받아 저장한다.
움직임 추정부(420)는 원영상에서 부호화하고자 하는 현재 블록이 입력되면 동일 시점 참조 픽처 저장부(410)에 저장된 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 현재 블록의 움직임을 추정함으로써 움직임 벡터를 생성한다. 또한, 움직임 추정부(420)는, 현재 블록의 움직임을 추정할 때, 동일한 시점에서의 복수 개의 참조 픽처 중 움직임을 추정하는 데 사용된 참조 픽처를 식별하기 위한 참조 픽처 식별자를 생성할 수 있다.
움직임 보상부(430)는 움직임 추정부(420)가 움직임을 추정하는 데 사용한 참조 픽조에서 움직임 추정부(420)에 의해 생성된 움직임 벡터를 이용하여 움직임을 보상함으로써 예측 블록을 생성하고 출력한다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(200)는 부호화하고자 하는 원영상의 현재 픽처가 입력되면 영상을 매크로 블록 또는 매크로 블록의 서브 블록 단위로 구분하고 다양한 블록 모드(또는 부호화 모드) 중 최적의 블록 모드를 결정하여 결정된 블록 모드에 따라 부호화하고자 하는 현재 블록을 예측하여 부호화한다.
이때, 블록 모드로서 인터 모드가 결정되어 인터 예측을 수행하는 경우, 영상 부호화 장치(200)는 다른 픽처를 이용하여 부호화하고자 하는 현재 블록의 움직임을 예측한다. 즉, 영상 부호화 장치(200)는 하나 또는 복수 개의 시점의 참조 픽처를 이용하되, 동일한 시점에서의 복수 개의 참조 픽처를 이용하여 현재 블록의 움직임을 추정함으로써 움직임 벡터를 생성하고(S510), 동일한 시점에서의 복수 개의 참조 픽처 중 움직임 추정에 사용된 참조 픽처를 식별하기 위한 참조 픽처 식별자를 생성한다(S520).
움직임 벡터와 참조 픽처 식별자가 생성되면, 영상 부호화 장치(200)는 움직임 추정에 사용된 참조 픽처에서 움직임 벡터를 이용하여 움직임을 보상함으로써 예측 블록을 생성한다(S530).
예측 블록이 생성되면, 영상 부호화 장치(200)는 입력된 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하고(S540), 잔차 블록을 변환하고 양자화한 후(S550), 양자화된 잔차 블록과 움직임 벡터 및 참조 픽처 식별자를 부호화하여 비트스트림을 생성한다(S560).
도 6은 본 발명의 일 실시예에 따라 영상 부호화를 위해 동일한 시점에서의 복수 개의 참조 픽처를 저장하는 과정을 설명하기 위한 순서도이다.
도 5를 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 방법에서, 영상 부호화 장치(200)는 단계 S550 이후에, 변환되고 양자화된 잔차 블록을 역 양자화하고 역 변환하고(S610), 부호화 과정에서 사용한 예측 블록에 가산하여 현재 블록을 복원한다(S620).
현재 블록이 복원되면 영상 부호화 장치(200)는 복원된 현재 블록을 디블로킹 필터링하지 않고 픽처 단위로 그대로 저장함으로써 디블로킹 전 참조 픽처를 생성하여 저장하고(S630), 복원된 현재 블록을 디블로킹 필터링하여 픽처 단위로 그대로 저장함으로써 디블로킹 후 참조 픽처를 생성하여 저장한다(S640). 이와 같이, 생성된 디블로킹 전 참조 픽처와 디블로킹 후 참조 픽처가 동일한 시점에서의 복수 개의 참조 픽처가 될 수 있으며, 현재 픽처가 아닌 다른 픽처의 임의의 블록을 부호화할 때, 움직임 추정 및 보상을 위해 사용될 수 있다.
전술한 바와 같이, 영상 부호화 장치(200)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 다양한 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치(700)의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 복호화부(710), 역 양자화/역 변환부(720), 예측부(730), 가산부(740), 디블로킹 필터링부(750) 및 복원 영상 선택부(760)를 포함하여 구성될 수 있다.
이러한 영상 복호화 장치(700)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화부(710)는 비트스트림을 복호화하여 잔차 블록을 추출한다. 즉, 복호화부(710)는 영상 부호화 장치(200)에 의해 부호화된 영상인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 잔차 블록과 움직임 벡터 및 참조 픽처 식별자를 추출한다.
역 양자화/역 변환부(720)는 복호화부(710)에 의해 추출된 잔차 블록을 역 양자화하고 역 변환한다. 여기서, 역 양자화와 역 변환은 각각 도 2를 통해 전술한 양자화와 변환과 같은 방식으로 역 양자와 역 변환될 수 있다.
예측부(730)는 복호화부(710)에서 추출한 참조 픽처 식별자를 이용하여 기 저장된 동일한 시점에서의 복수 개의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 특정 참조 픽처에서 복호화부(710)에서 추출한 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록을 예측하고 예측 블록을 생성한다.
가산부(740)는 역 양자화/역 변환부(720)에서 역 양자화되고 역 변환된 잔차 블록에 예측부(730)에 의해 예측된 예측 블록을 가산하여 현재 블록을 복원한다.
디블로킹 필터링부(750)는 양자화 과정에서 발생할 수 있는 오차를 줄여 블록 왜곡을 감소시키기 위해, 복원된 현재 블록을 디블로킹 필터링한다.
한편, 예측부는 가산부(740)에 의해 복원된 현재 블록을 그대로 픽처 단위로 저장하여 생성되는 디블로킹 전 참조 픽처 및 디블로킹 필터링부(750)에 의해 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 후 참조 픽처를 동일한 시점에서의 복수 개의 참조 픽처로서 저장한다. 저장된 동일한 시점에서의 복수 개의 참조 픽처는 현재 픽처가 아닌 다른 픽처의 복호화를 위한 움직임 보상에 활용될 수 있다.
복원 영상 선택부(760)는 가산부(740)로부터 출력되는 디블로킹 전 참조 픽처와 디블로킹 필터링부(750)로부터 출력되는 디블로킹 후 참조 픽처 중 하나를 선택하여 복원 영상으로서 출력한다.
또한, 도 7에서는 예측부(730) 및 복원 영상 선택부(760)가 가산부(740) 및 디블로킹 필터링부(750)와 각각 연결되어 가산부(740)로부터 디블로킹 필터링하기 전의 참조 픽처를 수신하고 디블로킹 필터링부(750)로부터 디블로킹 필터링한 후 참조 픽처를 수신하는 것으로 도시하고 설명했지만, 예측부(730)와 복원 영상 선택부(760)가 디블로킹 필터링부(750) 하고만 연결되어 디블로킹 필터링부(750)로부터 디블로킹 필터링하기 전의 참조 픽처와 디블로킹 필터링한 후 참조 픽처를 모두 수신하여 저장할 수도 있다. 이때, 디블로킹 필터링부(750)는 디블로킹 필터링한 현재 블록과 디블로킹 필터링하지 않은 현재 블록을 모두 예측부(270)로 전달한다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치는 도 7을 통해 전술한 영상 복호화 장치(700)에서는 예측부(730)로 구현될 수 있다. 이하에서는 설명의 편의를 위해, 본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치를 예측부(730)라 약칭한다.
본 발명의 일 실시예에 따른 예측부(730)는 동일 시점 참조 픽처 저장부(810) 및 움직임 보상부(820)를 포함하여 구성될 수 있다.
동일 시점 참조 픽처 저장부(810)는 가산부(740)에 의해 복원된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 전 참조 픽처 및 디블로킹 필터링부(750)에 의해 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 후 참조 픽처를 동일한 시점에서의 복수 개의 참조 픽처로서 저장한다.
움직임 보상부(820)는 복호화부(710)에서 추출한 참조 픽처 식별자를 이용하 여 동일 시점 참조 픽처 저장부(810)에 저장된 동일한 시점에서의 복수 개의 참조 픽처 중에서 현재 블록을 부호화할 때 움직임을 추정하고 보상한 특정 참조 픽처를 식별하고, 특정 참조 픽처에서 복호화부(710)에 의해 추출된 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록을 예측하고 예측 블록을 생성한다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(700)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다. 이를 위해, 영상 복호화 장치(700)는 비트스트림을 복호화하여 잔차 블록을 추출하고, 이때 비트스트림에서 움직임 벡터와 참조 픽처 식별자를 함께 추출한다(S910). 잔차 블록과 움직임 벡터, 참조 픽처 식별자가 추출되면, 영상 복호화 장치(700)는 추출한 잔차 블록을 역 양자화하고 역 변환한다(S920).
또한, 영상 복호화 장치(700)는 단계 S910에서 추출된 참조 픽처 식별자를 이용하여 동일한 시점에서의 복수 개의 참조 픽처 중 움직임 보상에 사용할 참조 픽처를 식별한다(S930). 즉, 참조 픽처 식별자는 영상 부호화 장치(200)에서 예측 블록을 생성할 때 동일한 시점에서의 복수 개의 참조 픽처 중 움직임을 추정하고 보상한 참조 픽처를 식별할 수 있도록 생성한 식별자이므로, 영상 복호화 장치(700)는 참조 픽처 식별자를 이용하여 움직임 보상에 사용할 참조 픽처를 식별할 수 있다.
또한, 영상 복호화 장치(700)는 단계 S930에서 식별된 참조 픽처에서 단계 S910에서 추출된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 복호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성하고(S940), 단계 S920에서 역 변환된 잔차 블록과 단계 S940에서 생성된 예측 블록을 가산하여 현재 블록을 복원한다(S950). 영상 부호화 장치(700)는 복원된 현재 블록을 픽처 단위로 저장하여 복원 영상을 출력한다(S960).
도 10은 본 발명의 일 실시예에 따라 영상 복호화를 위해 동일한 시점에서의 복수 개의 참조 픽처를 저장하는 방법을 설명하기 위한 순서도이다.
도 9를 통해 전술한 단계 S960과 같이 복원된 현재 블록을 픽처 단위로 저장하여 복원 영상을 출력할 수 있지만, 영상 복호화 장치(700)는 복원된 현재 블록이 그대로 픽처 단위로 저장된 참조 픽처를 디블로킹 전 참조 픽처로서 저장하고(S1010), 복원된 현재 블록이 디블로킹 필터링되고 픽처 단위로 저장된 참조 픽처를 디블로킹 후 참조 픽처로서 저장한다(S1020), 이와 같이 저장된 디블로킹 전 참조 픽처와 디블로킹 후 참조 픽처는 현재 픽처가 아닌 다른 픽처를 복호화할 때 동일한 시점에서의 복수 개의 참조 픽처로서 활용될 수 있다. 또한, 영상 복호화 장치(700)는 복원 영상을 출력할 때, 디블로킹 전 참조 픽처나 디블로킹 후 참조 픽처를 선택하여 출력할 수 있다(S1030).
이상에서 전술한 바와 같이, 본 발명에 따르면, 영상을 부호화하거나 복호화하기 위해 현재 부호화하고자 하는 현재 픽처의 현재 블록을 예측할 때, 동일한 시 점에서의 복수 개의 참조 픽처를 이용하여 움직임 추정 및 움직임 보상을 수행할 수 있다. 따라서, 복수 개의 시점에서는 각 시점마다 복수 개의 참조 픽처를 이용할 수 있어서, 동일한 시점에서는 하나의 참조 픽처만을 이용하여 움직임을 추정하고 움직임을 보상하는 기존의 방법보다 더욱 많은 참조 픽처를 이용할 수 있으므로, 더욱 효율적인 움직임 추정과 보상을 수행할 수 있고 예측의 효율을 향상시킬 수 있으며, 그를 통해 부호화 또는 복호화 효율을 향상시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와 방법 분야에 적용되어, 영상을 부호화하거나 복호화하는 데 있어서, 부호화 또는 복호화하고자 하는 현재 블록의 움직임을 효율적으로 추정하 고 보상함으로써 예측의 효율을 향상시키고, 그를 통해 영상의 부호화 및 복호화 효율을 향상시키기는 효과를 발생하는 매우 유용한 발명이다.
도 1은 영상을 구성하는 픽처들을 나타낸 예시도,
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따라 움직임을 예측하는 과정을 설명하기 위한 예시도,
도 4는 본 발명의 일 실시예에 따른 영상 부호화를 위한 인터 예측 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시예에 따라 영상 부호화를 위해 동일한 시점에서의 복수 개의 참조 픽처를 저장하는 과정을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치(700)의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 일 실시예에 따른 영상 복호화를 위한 인터 예측 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시예에 따라 영상 복호화를 위해 동일한 시점에서의 복수 개의 참조 픽처를 저장하는 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
410, 810: 동일 시점 참조 픽처 저장부 420: 움직임 추정부
430, 820: 움직임 보상부

Claims (19)

  1. 영상의 현재 블록을 예측하는 인터 예측 장치에 있어서,
    상기 영상의 각 시점의 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처를 저장하는 동일 시점 참조 픽처 저장부;
    상기 현재 블록이 입력되면 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처에서 각각 설정된 탐색 영역에서 현재 블록과 가장 유사한 블록을 탐색하여 움직임을 추정하고 움직임 벡터를 결정하는 움직임 추정부; 및
    상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 어느 하나의 참조 픽처에서 상기 움직임 벡터에 따라 상기 현재 블록의 예측 블록을 생성하고 출력하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 인터 예측 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 움직임 추정부는,
    상기 움직임을 추정할 때, 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 상기 움직임을 추정하는 데 사용된 상기 어느 하나의 참조 픽처를 식별하기 위한 참조 픽처 식별자를 추가로 출력하는 것을 특징으로 하는 인터 예측 장치.
  4. 삭제
  5. 영상을 부호화하는 장치에 있어서,
    상기 영상의 각 시점에 대응하는 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처를 저장하고, 상기 영상의 현재 블록이 입력되면, 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처에서 각각 설정된 탐색 영역에서 현재 블록과 가장 유사한 블록을 탐색하여 움직임을 추정하여 움직임 벡터를 결정하고, 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 어느 하나의 참조 픽처에서 상기 움직임 벡터에 따라 상기 현재 블록의 예측 블록을 생성하는 예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 변환하고 양자화하는 변환/양자화부; 및
    상기 양자화된 잔차 블록을 부호화하여 비트스트림을 출력하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 5 항에 있어서,
    상기 예측부는 상기 움직임을 추정할 때, 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 상기 움직임을 추정하는 데 사용된 상기 어느 하나의 참조 픽처를 식별하기 위한 참조 픽처 식별자를 추가로 생성하고, 상기 부호화부는 상기 움직임 벡터 및 상기 참조 픽처 식별자를 상기 양자화된 잔차 블록과 함께 부호화하여 상기 비트스트림을 출력하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 5 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 잔차 블록을 역 양자화하고 상기 역 양자화된 잔차 블록을 역 변환하는 역 양자화/역 변환부;
    상기 역 변환된 잔차 블록에 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부; 및
    상기 복원된 현재 블록을 디블로킹 필터링하는 필터링부
    를 추가로 포함하되, 상기 예측부는 상기 현재 블록을 포함하는 픽처와 다른 픽처의 움직임 추정 및 보상을 위하여, 상기 복원된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 필터링 전 참조 픽처 및 상기 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 필터링 후 참조 픽처를 하나의 시점의 참조 픽처에 포함되도록 저장하는 것을 특징으로 하는 영상 부호화 장치.
  8. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록이 입력되면, 상기 영상의 각 시점에 대응하는 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처에서 각각 설정된 탐색 영역에서 현재 블록과 가장 유사한 블록을 검색하여 움직임을 추정하여 움직임 벡터를 결정하고, 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 어느 하나의 참조 픽처에서 상기 움직임 벡터에 따라 상기 현재 블록의 예측 블록을 생성하는 예측 단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산 단계;
    상기 잔차 블록을 변환하고 양자화하는 변환/양자화 단계; 및
    상기 양자화된 잔차 블록을 부호화하여 비트스트림을 출력하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 8 항에 있어서, 상기 영상 부호화 방법은,
    상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중 상기 움직임을 추정하는 데 사용된 상기 어느 하나의 참조 픽처를 식별하기 위한 참조 픽처 식별자를 출력하는 추정 정보 출력 단계; 및
    상기 참조 픽처 식별자 및 상기 움직임 벡터를 상기 양자화된 잔차 블록과 함께 부호화하여 상기 비트스트림을 출력하는 추정 정보 부호화 단계
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 8 항에 있어서, 상기 영상 부호화 방법은,
    상기 양자화된 잔차 블록을 역 양자화하고 상기 역 양자화된 잔차 블록을 역 변환하는 역 양자화/역 변환 단계;
    상기 역 변환된 잔차 블록에 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산 단계;
    상기 복원된 현재 블록을 디블로킹 필터링하는 필터 단계; 및
    상기 현재 블록을 포함하는 픽처와 다른 픽처의 움직임 추정 및 보상을 위하여, 상기 복원된 현재 블록을 픽처 단위로 저장하여 디블로킹 필터링 전 참조 픽처를 생성하고 상기 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 디블로킹 필터링 후 참조 픽처를 생성하는 참조 픽처 생성 단계; 및
    상기 참조 픽처 생성 단계에서 생성된 디블로킹 필터링 전 참조 픽처 및 디블로킹 필터링 후 참조 픽처를 하나의 시점의 참조 픽처에 포함되도록 저장하는 참조 픽처 저장 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상의 현재 블록을 예측하는 인터 예측 장치에 있어서,
    상기 영상의 각 시점의 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처를 저장하는 동일 시점 참조 픽처 저장부; 및
    상기 현재 블록의 움직임 벡터와 참조 픽처 식별자가 입력되면, 상기 참조 픽처 식별자를 이용하여 상기 디블로킹 필터링 전의 참조 픽처와 상기 디블로킹 필터링 후의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 상기 특정 참조 픽처에서 상기 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 보상함으로써 상기 현재 블록을 예측하고 예측 블록을 출력하는 움직임 보상부
    를 포함하는 것을 특징으로 하는 인터 예측 장치.
  12. 삭제
  13. 삭제
  14. 영상을 복호화하는 장치에 있어서,
    비트스트림을 복호화하여 현재 블록의 잔차 블록, 움직임 벡터 및 참조 픽처 식별자를 추출하는 복호화부;
    상기 잔차 블록을 역 양자화하고 역 변환하는 역 양자화/역 변환부;
    상기 참조 픽처 식별자를 이용하여 상기 영상의 각 시점에 대응하는 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 상기 특정 참조 픽처에서 상기 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 보상함으로써 상기 현재 블록을 예측하고 예측 블록을 생성하는 예측부; 및
    상기 역 변환된 잔차 블록에 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제 14 항에 있어서, 상기 영상 복호화 장치는,
    상기 복원된 현재 블록을 디블로킹 필터링하는 필터링부를 추가로 포함하되, 상기 예측부는 상기 현재 블록을 포함하는 픽처와 다른 픽처의 움직임 추정 및 보상을 위하여, 상기 복원된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 필터링 전 참조 픽처 및 상기 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 생성되는 디블로킹 필터링 후 참조 픽처를 하나의 시점의 참조 픽처에 포함되도록 저장하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 15 항에 있어서, 상기 영상 복호화 장치는,
    상기 생성되는 디블로킹 필터링 전 참조 픽처 및 디블로킹 필터링 후 참조 픽처 중 하나를 복원 영상으로 출력하는 복원 영상 선택부를 추가로 포함하는 것을 특징으로 하는 영상 복호화 장치.
  17. 영상을 복호화하는 방법에 있어서,
    비트스트림을 복호화하여 현재 블록의 잔차 블록, 움직임 벡터 및 참조 픽처 식별자를 추출하는 복호화 단계;
    상기 잔차 블록을 역 양자화하고 역 변환하는 역 양자화/역 변환 단계;
    상기 참조 픽처 식별자를 이용하여 상기 영상의 각 시점에 대응하는 디블로킹 필터링 전의 참조 픽처와 디블로킹 필터링 후의 참조 픽처 중에서 특정 참조 픽처를 식별하고, 상기 특정 참조 픽처에서 상기 움직임 벡터를 이용하여 상기 현재 블록의 움직임을 보상함으로써 상기 현재 블록을 예측하고 예측 블록을 생성하는 예측 단계; 및
    상기 역 변환된 잔차 블록에 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제 17 항에 있어서, 상기 영상 복호화 방법은,
    상기 복원된 현재 블록에 대해 디블로킹 필터링을 수행하는 필터링 단계;
    상기 복원된 현재 블록을 픽처 단위로 저장하여 디블로킹 필터링 전 참조 픽처를 생성하고 상기 디블로킹 필터링된 현재 블록을 픽처 단위로 저장하여 디블로킹 필터링 후 참조 픽처를 생성하는 참조 픽처 생성 단계; 및
    상기 생성된 디블로킹 필터링 전 참조 픽처 및 디블로킹 필터링 후 참조 픽처를 하나의 시점의 참조 픽처에 포함되도록 저장하는 참조 픽처 저장 단계
    를 추가로 포함하는 것을 특징으로 하는 영상 복호화 방법.
  19. 제 18 항에 있어서, 상기 영상 복호화 방법은,
    상기 생성된 디블로킹 필터링 전 참조 픽처 및 디블로킹 필터링 후 참조 픽처 중 하나를 복원 영상으로 출력하는 복원 영상 선택 단계를 추가로 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR1020080077939A 2008-08-08 2008-08-08 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법 KR101527148B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080077939A KR101527148B1 (ko) 2008-08-08 2008-08-08 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080077939A KR101527148B1 (ko) 2008-08-08 2008-08-08 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법

Publications (2)

Publication Number Publication Date
KR20100019088A KR20100019088A (ko) 2010-02-18
KR101527148B1 true KR101527148B1 (ko) 2015-06-10

Family

ID=42089610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080077939A KR101527148B1 (ko) 2008-08-08 2008-08-08 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법

Country Status (1)

Country Link
KR (1) KR101527148B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211374A1 (ko) * 2021-03-31 2022-10-06 현대자동차주식회사 매핑 기반 비디오 코딩방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148128A2 (ko) * 2011-04-24 2012-11-01 엘지전자 주식회사 인터 예측 방법과 이를 이용한 인코딩 방법, 디코딩 방법 및 장치
EP2919463A4 (en) * 2012-11-07 2016-04-20 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING MULTI-VIEW VIDEO SIGNAL
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
KR20200058546A (ko) * 2017-10-19 2020-05-27 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152758A (ja) * 2000-11-10 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像符号化方法
JP3895145B2 (ja) * 2001-10-15 2007-03-22 日本電信電話株式会社 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
KR100835662B1 (ko) * 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법
JP4129006B2 (ja) * 2005-02-23 2008-07-30 日本電信電話株式会社 動画像再符号化方法、動画像再符号化装置、動画像再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152758A (ja) * 2000-11-10 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像符号化方法
JP3895145B2 (ja) * 2001-10-15 2007-03-22 日本電信電話株式会社 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP4129006B2 (ja) * 2005-02-23 2008-07-30 日本電信電話株式会社 動画像再符号化方法、動画像再符号化装置、動画像再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100835662B1 (ko) * 2006-12-04 2008-06-09 부산대학교 산학협력단 필터 예측 기능을 가지는 움직임 보상 예측 장치 및 이를이용한 동영상 압축 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022211374A1 (ko) * 2021-03-31 2022-10-06 현대자동차주식회사 매핑 기반 비디오 코딩방법 및 장치

Also Published As

Publication number Publication date
KR20100019088A (ko) 2010-02-18

Similar Documents

Publication Publication Date Title
KR101441905B1 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101590511B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
US20180176554A1 (en) Method for encoding video information and method for decoding video information, and apparatus using same
KR101377660B1 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101648058B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
KR101432767B1 (ko) 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101379190B1 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101479123B1 (ko) 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101539045B1 (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101575605B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575635B1 (ko) 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101582493B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101582495B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101483174B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 5