KR101418101B1 - 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 - Google Patents

저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101418101B1
KR101418101B1 KR1020090090283A KR20090090283A KR101418101B1 KR 101418101 B1 KR101418101 B1 KR 101418101B1 KR 1020090090283 A KR1020090090283 A KR 1020090090283A KR 20090090283 A KR20090090283 A KR 20090090283A KR 101418101 B1 KR101418101 B1 KR 101418101B1
Authority
KR
South Korea
Prior art keywords
block
low
frequency
image
encoded
Prior art date
Application number
KR1020090090283A
Other languages
English (en)
Other versions
KR20110032671A (ko
Inventor
김수년
임정연
김해광
전병우
문주희
이영렬
한종기
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020090090283A priority Critical patent/KR101418101B1/ko
Priority to PCT/KR2010/006018 priority patent/WO2011037337A2/ko
Priority to US13/497,755 priority patent/US9124901B2/en
Publication of KR20110032671A publication Critical patent/KR20110032671A/ko
Application granted granted Critical
Publication of KR101418101B1 publication Critical patent/KR101418101B1/ko
Priority to US14/687,200 priority patent/US9807425B2/en
Priority to US15/714,152 priority patent/US10034024B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

본 발명은 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 복원 블록을 생성하며, 현재 블록과 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명에 의하면, 저주파수 성분을 고려하여 동영상을 부호화함에 따라 변환 및 양자화에 의한 블로킹 효과를 감소시키면서 압축 효율을 향상시킬 수 있다.
영상, 부호화, 복호화, 저주파수, 변환, 블로킹, 필터

Description

저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치{Video Encoding/Decoding Method and Apparatrus in Consideration of Low Frequency Component}
본 발명은 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 저주파수 성분을 고려하여 동영상을 부호화함으로써, 변환 및 양자화에 의한 블로킹 효과를 감소시키면서 압축 효율을 향상시키기 위한 방법 및 장치에 관한 것이다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다.
최근에 개발된 동영상 압축 기술에서는 효율적인 동영상 압축을 위해 다중 참조 프레임 기술을 비롯하여, 문맥 기반 적응적 가변 길이 부호화(CAVLC: Context based Variable Length Coding)와 같은 엔트로피 부호화(Entropy Coding)을 이용하여양자화된 변환 계수(Quantized Transform Coefficient)를 부호화하는 기술을 이용한다. 하지만, 이러한 통상적인 동영상 압축 기술들은 영상의 매크로블록(Macroblck)을 예측하여 잔여 블록(Residual Block)을 구한 후, 이를 변환 단위로 나누어 주파수 영역으로 변환하고 양자화하여 부호화하기 때문에 변환 단위 간에 블록킹 현상(Blocking Effects) 등이 나타났다.
통상적인 동영상 압축 기술에서는 이러한 블로킹 현상을 제거하기 위해 부호화한 후 복호화하여 복원되는 영상을 디블로킹 필터링(Deblocking Filtering)하여 화질을 향상시키고 있으나, 디블로킹 필터링을 위한 디블로킹 필터는 영상에서 실제로 존재하는 고주파수 성분마저 제거하는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 저주파수 성분을 고려하여 동영상을 부호화함으로써, 변환 및 양자화에 의한 블로킹 효과를 감소시키면서 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 복원 블록을 생성하는 단계; 및 현재 블록과 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 복원 블록을 생성하는 영상 부호화기; 및 현재 블록과 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성하는 저주파수 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성하는 단계; 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하는 단계; 및 에러 블록과 복원 블록을 가산하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성하는 영상 복호화기; 및 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하고, 에러 블록과 복원 블록을 가산하여 현재 블록을 복원하는 저주파수 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 저주파수 성분을 고려하여 동영상을 부호화함에 따라 변환 및 양자화에 의한 블로킹 효과를 감소시키면서 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 영상을 구성하는 픽처들을 나타낸 예시도이다.
영상을 부호화하는 기법은 다양한데, 대표적으로 영상을 화소 단위로 분할하여 화소 단위로 부호화할 수도 있고 영상을 블록 단위로 분할하여 블록 단위로 부호화할 수도 있다. 블록 단위로 부호화하는 경우, 영상을 구성하는 여러 픽처(Picture) 중 부호화하고자 하는 하나의 픽처는 매크로블록(Macroblock)과 매크 로블록을 구성하는 서브 블록(Subblock) 등으로 나누어질 수 있으며, 나누어진 블록 단위로 예측되고 부호화가 수행된다.
통상적으로 영상은 1초 동안에 30장의 픽처로 구성되므로, 하나의 픽처와 이웃한 픽처 간에는 픽처 간의 영상의 차이가 작기 때문에, 인간의 눈으로 그 차이를 구분하기가 매우 어렵다. 그로 인해, 영상이 1초 동안에 30장의 픽처로 출력되면, 인간은 각 픽처가 연속적인 것으로 인식한다.
따라서, 이전 픽처와 현재 픽처의 영상이 유사하다면, 이전 픽처를 구성하고 있는 이미 알고 있는 영상의 화소값으로부터 현재 픽처의 미지의 화소값을 예측할 수 있다. 이와 같은 예측 기법을 인터 예측(Inter Prediction)이라 한다. 이러한 인터 예측은 움직임 예측(Motion Prediction) 기술을 기반으로 이루어진다. 움직임 예측은 시간 축을 기준으로 이전 픽처를 참조하거나 이전 픽처와 미래 픽처를 모두 참조하는 방식으로 수행된다. 현재 픽처를 부호화하거나 복호화하는 데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
도 1을 참조하면, 영상은 일련의 정지 영상(Still Image)으로 구성된다. 이 정지 영상들은 픽쳐 그룹(GOP: Group of Picture) 단위로 구분된다. 각 정지 영상을 픽처 또는 프레임(Frame)이라 한다. 하나의 픽쳐 그룹에는 I 픽처(110), P 픽처(120), B 픽처(130)가 포함된다. I 픽처(110)는 참조 픽처를 사용하지 않고 자체적으로 부호화되는 픽처이며, P 픽처(120)와 B 픽처(130)는 참조 픽처를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation)을 수행하여 부호화되는 픽처이다. 특히, B 픽처(130)는 과거의 픽처와 미래의 픽처를 각각 순 방향 및 역방향 즉, 양방향으로 예측하여 부호화되는 픽처이다.
도 1을 참조할 때, P 픽처(120)를 부호화하기 위한 움직임 추정과 움직임 보상은 I 픽처(110)를 참조 픽처로서 이용한다. B 픽처(130)를 부호화하기 위한 움직임 추정 및 움직임 보상은 I 픽처(110)와 P 픽처(120)를 참조 픽처로서 이용한다.
도 2는 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
영상 부호화 장치(200)는 예측기(Predictor, 210), 감산기(Subtracter, 220), 변환기(Transformer, 230), 양자화기(Quantizer, 240), 부호화기(Encoder, 250), 역 양자화기(Inverse Quantizer, 260), 역 변환기(Inverse Transformer, 270), 가산기(Adder, 280) 및 메모리(Memory, 290)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측기(210)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측기(210)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측기(210)는 인트라 예측 또는 인터 예측을 이용하여 현재 블록을 예측할 수 있다.
감산기(220)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(220)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측기(210)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔여 신호(Residual Signal)를 갖는 잔여 블록을 생성한다.
변환기(230)는 잔여 블록을 변환한다. 즉, 변환기(230)는 감산기(220)로부터 출력되는 잔여 블록의 잔여 신호를 주파수 영역으로 변환하여 잔여 블록의 각 화소값을 변환 계수(Transform Coefficient)로 변환한다. 여기서, 변환기(230)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔여 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔여 신호가 변환 계수가 된다.
양자화기(240)는 변환된 잔여 블록을 양자화한다. 즉, 양자화기(240)는 변환기(230)로부터 출력되는 잔여 블록의 변환 계수를 양자화(Quantization)하여 양자화된 변환 계수(Quantized Transform Coefficient)를 갖는 잔여 블록을 출력한다. 여기서, 양자화기(240)는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.
부호화기(250)는 양자화된 잔여 블록을 부호화하여 비트스트림을 생성한다. 즉, 부호화기(250)는 양자화기(240)로부터 출력되는 잔여 블록의 양자화된 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열을 생성하고 엔트로피 부호화(Entropy Coding) 기법 등 다양한 부호화 기법을 이용하여 부호화한다. 이때, 부호화기(250)는 예측에 필요한 정보와 같은 다양한 정보를 추가로 부호화할 수 있다.
역 양자화기(260)는 양자화기(240)에 의해 양자화된 잔여 블록을 역 양자화(Inverse Quantization)한다. 역 변환기(270)는 역 양자화기(260)에 의해 역 양자화된 잔여 블록을 역 변환(Inverse Transform)한다. 여기서, 역 양자화기(260)와 역 변환기(270)는 양자화기(240)와 변환기(230)에서 사용한 양자화 방식과 변환 방식을 역으로 사용하여 역 양자화 및 역 변환할 수 있다.
가산기(280)는 예측기(210)에서 예측된 예측 블록과 역 변환기(270)에 의해 복원된 잔여 블록을 가산하여 현재 블록을 복원한다. 메모리(290)는 가산기(280)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측기(210)가 현재 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용할 수 있도록 한다.
도 2에서는 도시하지 않았지만, 전술한 영상 부호화 장치(200)는 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터기 등을 추가로 포함할 수 있다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면 서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.
한편, 현재 블록과 예측 블록을 감산하여 생성되는 잔여 블록이 변환되고 양자화되므로, 변환과 양자화 과정에서 에러가 발생하게 되고 그에 따라 부호화기(250)에 의해 생성되는 비트스트림은 변환과 양자화 과정에서 발생한 에러가 포함된다. 또한, 변환 및 양자화된 잔여 블록은 다시 역 양자화 및 역 변환되고 예측 블로과 가산되어 현재 블록으로 복원되는데, 이 복원된 현재 블록에도 변환과 양자화 과정에서 발생한 에러가 포함된다.
즉, 원래의 현재 블록 A라고 하고, 예측 블록을 B 라고 하면 현재 블록과 예측 블록의 차이인 잔여 블록 A-B는 변환되고 양자화되는데, 이때 에러 성분(E)이 발생하여 최종적으로 부호화되어 출력되는 비트스트림 내에 부호화된 데이터는 (A-B)+E가 될 수 있다. 또한, 메모리(290)에 저장되는 복원된 현재 블록은 복원된 잔여 블록 (A-B)+E와 예측 블록 B가 더해져서 생성되므로, 원래의 현재 블록 A에서 에러 E가 포함된 A+E가 참조 픽처로서 저장된다.
도 3은 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
영상 복호화 장치(300)는 복호화기(Decoder, 310), 역 양자화기(320), 역 변환기(330), 예측기(340), 가산기(350) 및 메모리(360)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화기(310)는 비트스트림으로부터 부호화된 잔여 블록을 복호화하여 양자화된 잔여 블록을 복원한다. 이때, 복호화기(310)는 영상 부호화 장치(200)의 부호화기(250)가 수행한 부호화 과정을 역으로 수행하여 부호화된 잔여 블록을 복호화할 수 있다.
역 양자화기(320)는 복호화기(310)에 의해 복원된 잔여 블록을 역 양자화하고, 역 변환기(330)는 역 양자화기(320)에 의해 역 양자화된 잔여 블록을 역 변환하며, 예측기(340)는 현재 블록을 예측하여 예측 블록을 생성하며, 가산기(350)는 역 변환기(330)에 의해 역 변환된 잔여 블록과 예측기(340)에 의해 생성된 예측 블록을 가산하여 현재 블록을 복원한다. 메모리(360)는 가산기(350)로부터 출력되는 복원된 현재 블록을 픽처 단위로 참조 픽처로서 저장하여 예측기(340)에서 참조 픽처를 이용할 수 있도록 한다.
도 3에서는 도시하지 않았지만, 전술한 영상 복호화 장치(300)는 복원된 현재 블록을 디블로킹 필터링(Deblocking Filtering)하는 디블록킹 필터 등을 추가로 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(400)는 영상 부호화기(410) 및 저주파수 부호화기(430)를 포함하여 구성될 수 있다.
영상 부호화기(410)는 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 복원 블록을 생성한다. 즉, 영상 부호화기(410)는 현재 블록을 예측하여 예측 블록을 생성하고, 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하며, 잔여 블록을 제 1 변환 단위로 변환 및 양자화하여 잔여 블록의 양자화된 변환 계수를 생성하며, 잔여 블록의 양자화된 변환 계수를 부호화하여 부호화된 영상 데이터를 생성하며, 잔여 블록의 양자화된 변환 계수를 역 양자화 및 역 변환하여 잔여 블록을 복원하며, 복원되는 잔여 블록을 예측 블록과 가산하여 복원 블록을 생성한다.
이를 위해, 영상 부호화기(410)는 도 4에 도시한 바와 같이, 예측기(412), 제 1 감산기(414), 제 1 변환기(416), 제 1 양자화기(418), 제 1 부호화기(420), 제 1 역 양자화기(422), 제 1 역 변환기(424), 제 1 가산기(426) 및 메모리(428)를 포함하여 구성될 수 있다. 여기서, 예측기(412), 제 1 감산기(414), 제 1 변환기(416), 제 1 양자화기(418), 제 1 부호화기(420), 제 1 역 양자화기(422), 제 1 역 변환기(424), 제 1 가산기(426) 및 메모리(428) 각각의 동작과 기능은 도 2를 통해 전술한 예측기(210), 감산기(220), 변환기(230), 양자화기(240), 부호화기(250), 역 양자화기(260), 역 변환기(270), 가산기(280) 및 메모리(290)의 동작 과 기능과 동일 또는 유사하므로 상세한 설명은 생략한다.
다만, 제 1 변환기(416)에서 잔여 블록을 변환할 때 제 1 변환 단위로 변환할 수 있다. 이러한 제 1 변환 단위는 4x8 변환, 8x4 변환, 16x8 변환, 8x16 변환 등과 같이 변환 블록의 가로 화소수 및 세로 화소수가 다른 직사각형 형태의 변환(즉, PxQ 변환, 단 P≠Q)일 수 있다. 또한, 제 1 변환 단위는 4x4 변환, 8x8 변환, 16x16 변환, 4x8 변환, 8x4 변환, 16x8 변환 및 8x16 변환 중 하나이거나 하나 이상의 조합일 수 있다.
또한, 도 2를 통해 전술한 가산기(280)는 역 변환기(270)로부터 출력되는 복원된 잔여 블록과 예측기(210)로부터 출력되는 예측 블록을 가산하여 현재 블록을 복원하고 복원되는 현재 블록을 메모리(428)에 저장하지만, 제 1 가산기(426)는 제 1 역 변환기(424)로부터 출력되는 복원되는 잔여 블록과 예측기(412)로부터 출력되는 예측 블록을 가산하여 복원 블록(Reconstructed Block)을 출력하는데, 이러한 복원 블록을 메모리(428)에 저장하는 것이 아니라 저주파수 부호화기(430)의 감산기(432)로 출력한다. 즉, 도 2의 영상 부호화 장치에서는 가산기(280)로부터 출력되는 복원된 현재 블록이 최종적으로 복원된 현재 블록이 되지만, 도 4의 본 발명의 일 실시예에 따른 영상 부호화 장치(400)에는 제 1 가산기(426)로부터 출력되는 복원 블록이 최종적으로 복원된 현재 블록이 아니고 저주파수 부호화기(430)의 제 2 가산기(444)로부터 출력되는 복원된 현재 블록이 최종적으로 복원되는 현재 블록이 된다.
여기서, 현재 블록이란 현재 부호화하고자 하는 블록을 말하며, 매크로블록 또는 서브블록일 수 있다.
저주파수 부호화기(430)는 현재 블록과 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성한다. 즉, 저주파수 부호화기(430)는 제 2 감산기(432), 제 2 변환기(434), 제 2 양자화기(436) 및 제 2 부호화기(438)를 포함하여 구성될 수 있으며, 추가적으로 제 2 역 양자화기(440), 제 2 역 변환기(442) 및 제 2 가산기(444)를 더 포함할 수 있다.
제 2 감산기(432)는 현재 블록과 복원 블록을 감산하여 에러 블록(Error Block)을 생성한다. 즉, 제 2 감산기(432)는 입력 영상에서 현재 부호화하고자 하는 블록인 현재 블록과 영상 부호화기(410)의 제 1 가산기(426)로부터 출력되는 복원 블록을 감산하여 에러 블록을 생성한다. 제 1 가산기(426)로부터 출력되는 복원 블록은 현재 블록이 부호화되고 복호화되어 복원된 블록이기 때문에 현재 블록과 유사하지만, 전술한 바와 같이 현재 블록의 잔여 블록이 변환되고 양자화되는 과정에서 에러가 발생하고 역 양자화되고 역 변환되어 복원되는 잔여 블록과 예측 블록이 가산되어 생성되는 복원 블록에도 에러가 포함되어 있으므로, 현재 블록과 복원 블록을 감산하여 에러 블록을 생성할 수 있다.
제 2 변환기(434)는 에러 블록을 제 2 변환 단위로 변환하여 에러 블록의 변환 계수를 생성한다. 즉, 제 2 변환기(434)는 제 2 감산기(432)로부터 출력되는 에러 블록의 에러 신호(Error Signal)들을 주파수 영역으로 변환하여 변환 계수를 가지는 에러 블록을 생성한다.
이때, 제 2 변환기(434)는 제 2 변환 단위로 에러 블록의 에러 신호들을 변 환한다. 이러한 제 2 변환 단위는 하나 이상의 변환을 포함할 수 있는데, 현재 블록을 예측 부호화하는 데 이용되는 제 1 변환 단위보다 클 수 있으며, 현재 블록을 예측 부호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 제 1 변환 블록과 제 2 변환 블록을 예시적으로 나타낸 도 5를 참조하여, 제 1 변환 단위와 제 2 변환 단위를 설명한다.
도 5에서는 현재 블록이 32x32 블록 크기의 매크로블록이라고 가정할 때, 부호화된 영상 데이터를 생성하기 위해 변환할 때 이용하는 제 1 변환 블록과 부호화된 저주파수 데이터를 생성하기 위해 변환할 때 이용하는 제 2 변환 블록을 예시적으로 나타내었다.
제 1 변환기(416)는 제 1 변환 단위로 잔여 블록의 잔여 신호들을 변환하는데, 도시한 바와 같이, 제 1 변환 단위는 4x4 변환이 될 수도 있고 8x8 변환이 될 수도 있다. 이뿐만 아니라 제 1 변환 단위는 4x8 변환, 8x4 변환, 16x8 변환 등 직사각형 형태의 변환이 될 수도 있으나 이에 대해서는 도시하지 않았다.
제 2 변환기(434)는 제 2 변환 단위로 에러 블록의 에러 신호들을 변환하는데, 도시한 바와 같이, 제 2 변환 단위는 16x16 변환이 될 수도 있고 16x8 변환이 될 수도 있다. 이뿐만 아니라 제 2 변환 단위는 8x8 변환, 8x16 변환 등 다양한 크기와 형태의 변환이 될 수도 있으나 이에 대해서는 도시하지 않았다.
다만, 제 2 변환기(434)는 도시한 바와 같이, 제 1 변환기(416)에서 잔여 블록을 변환할 때 이용한 제 1 변환 단위에 따른 변환 블록을 하나 이상 포함하는 변 환 블록의 형태로 제 2 변환 단위를 사용하여 에러 블록을 변환할 수 있다. 도 5의 좌상단에서는 제 1 변환기(416)가 제 1 변환 단위로 4x4 변환을 이용한 경우 제 2 변환기(434)가 제 1 변환 단위로 사용된 4x4 변환 16 개를 포함하는 16x16 변환을 이용하여 에러 블록을 변환하는 예를 나타내었다. 또한, 도 5의 우하단에서는 제 1 변환기(416)가 제 1 변환 단위로 8x8 변환을 이용한 경우 제 2 변환기(434)가 제 1 변환 단위로 사용된 8x8 변환 2 개를 포함하는 16x8 변환을 이용하여 에러 블록을 변환하는 예를 나타내었다. 이와 같이, 제 2 변환 단위는 하나 이상의 변환을 포함할 수 있으며, 제 1 변환 단위보다 크게 결정될 수 있고 제 1 변환 단위에 따른 하나 이상의 변환을 포함하는 변환일 수 있다.
제 2 양자화기(436)는 에러 블록의 변환 계수 중 저주파수 변환 계수(Low Frequency Transformed Coefficient)를 양자화하여 양자화된 저주파수 변환 계수(Quantized Low Frequency Transformed Coefficient)를 생성한다. 즉, 제 2 양자화기(436)는 에러 블록의 변환 계수들 중에서 기 결정되거나 소정의 기준에 따라 결정되는 개수의 저주파수 변환 계수를 선택하고, 선택된 저주파수 변환 계수를 양자화하여 양자화된 저주파수 변환 계수를 생성한다.
이를 위해, 제 2 양자화기(436)는 변환된 에러 블록의 변환 계수 중 DC 계수로부터 지그재그 스캔(Zigzag Scan) 순서에 따라 기 설정된 개수의 변환 계수를 저주파수 변환 계수로서 선택할 수 있다. 본 발명의 일 실시예에 따라 저주파수 변환 계수를 선택하는 과정을 예시적으로 나타낸 도 6을 참조하면, 제 2 변환기(434)에 의해 변환된 에러 블록은 도 6에 도시한 바와 같이, 복수 개의 변환 계수들을 포함 할 수 있다. 도 6에서는 제 2 변환 단위로 8x8 변환이 이용된 경우의 변환된 에러 블록을 예시적으로 나타내었다. 8x8 변환을 이용하여 변환된 에러 블록들은 64 개의 변환 계수들을 포함하는데, 하나의 DC 계수와 63 개의 AC 계수들을 포함할 수 있다. 63 개의 AC 계수들 중에서 DC 계수 근처의 AC 계수들이 저주파수 변환 계수들이므로, 제 2 양자화기(436)는 DC 계수로부터(DC 계수를 포함함) 지그재그 스캔 순서로 몇 개의 변환 계수들을 저주파수 변환 계수로서 선택할 수 있다.
여기서, 몇 개란 1 개(이 경우, 저주파수 변환 계수는 DC 계수 한 개일 수 있다) 또는 2 개(이 경우, 저주파수 변환 계수는 DC 계수와 AC1 계수일 수 있다)가 될 수 있는데, 기 결정될 수도 있고 소정의 기준에 따라 결정될 수 있다. 또한, 전술한 바와 같이 제 2 양자화기(436)가 저주파수 변환 계수를 DC 계수로부터 지그재그 스캔 순서에 따라 몇 개의 변환 계수를 저주파수 변환 계수로서 선택하는 것은 저주파수 변환 계수를 선택하기 위한 대표적인 방식일 뿐, 반드시 저주파수 변환 계수가 이러한 방법에 의해 선택되어야 하는 것은 아니며, 다양한 다른 방식으로 선택될 수도 있을 것이다.
제 2 부호화기(438)는 양자화된 저주파수 변환 계수를 부호화하여 부호화된 저주파수 데이터를 생성한다. 즉, 제 2 부호화기(438)는 양자화된 저주파수 변환 계수를 엔트로피 부호화와 같은 다양한 부호화 방식에 따라 부호화하여 부호화된 저주파수 데이터를 생성한다. 다만, 도 4에서는 제 2 부호화기(438)가 저주파수 부호화기(430)에 포함되는 것으로 도시하였지만, 제 2 부호화기(438)는 저주파수 부호화기(430)에서는 생략되고 그 기능이 영상 부호화기(410)의 제 1 부호화기(420) 에 포함되어 구현될 수도 있다.
또한, 제 2 부호화기(438)는 에러 블록의 저주파수 성분을 부호화함을 나타내는 플래그 정보를 부호화하여 부호화된 플래그 데이터를 생성할 수 있다. 즉, 제 2 부호화기(438)는 부호화된 저주파수 데이터를 생성한 경우, 에러 블록의 저주파수 성분을 부호화함을 나타내는 플래그 정보를 생성하고 생성된 플래그 정보를 부호화하여 플래그 데이터를 생성할 수 있다. 플래그 정보는 1 비트의 플래그로 설정될 수 있으며, 예를 들어, 플래그가 1인 경우 에러 블록의 저주파수 성분을 부호화함을 나타낼 수 있고, 플래그가 0인 경우 에러 블록의 저주파수 성분을 부호화하지 않았음을 나타낼 수도 있다.
또한, 제 2 부호화기(438)는 양자화된 저주파수 변환 계수의 개수를 부호화하여 부호화된 저주파수 개수 데이터를 생성할 수 있다. 이러한 부호화된 저주파수 개수 데이터는 비트스트림에 포함되어 영상 복호화 장치로 전송될 수 있으며, 영상 복호화 장치에서 양자화된 저주파수 데이터를 올바르게 추출하여 복호화하는 데 활용될 수 있다.
제 2 역 양자화기(440)는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원한다. 즉, 제 2 역 양자화기(440)는 제 2 양자화기(436)로부터 출력되는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원한다. 이러한 역 양자화 과정은 제 2 양자화기(440)가 수행한 양자화한 과정을 역으로 수행함으로써 달성될 수 있다.
제 2 역 변환기(442)는 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 에러 블록을 복원한다. 즉, 제 2 역 변환기(442)는 제 2 역 양자화기(440)에 의해 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 에러 블록을 복원한다.
이러한 역 변환 과정은 제 2 변환기(434)가 수행한 변환 과정을 역으로 수행함으로써 달성될 수 있다. 제 2 역 양자화기(440)에 의해 역 양자화되어 복원되는 저주파수 변환 계수는 제 2 변환 단위로 변환되어 생성되는 변환 계수들 중 선택된 몇 개만을 포함하고 있으므로 제 2 역 변환기(442)과 제 2 변환기(434)가 수행한 변환 과정을 역으로 수행하기 위해서는 제 2 변환 단위에 따른 블록의 형태에 맞게 변환 계수들을 추가해야 한다. 이를 위해, 제 2 역 변환기(442)는, 추가의 변환 계수가 결합되어 생성되는 변환 블록을 예시적으로 나타낸 도 7에 도시한 바와 같이, 저주파수 변환 계수에 0과 같은 소정의 값을 가지는 변환 계수를 추가로 결합하여 제 2 변환 단위에 맞는 변환 블록을 생성하고 제 2 변환 단위로 역 변환할 수 있다.
또한, 이러한 역 변환 과정은 제 2 변환기(434)가 수행한 변환 과정과 달리, 선택된 몇 개만을 포함하는 저주파수 변환 계수들을 개별적으로 역 변환할 수도 있다. 이 경우, 제 2 역 변환기(434)는 저주파수 변환 계수들을 개별적으로 역 변환하여 복원되는 에러 신호에 0과 같은 소정의 값을 가지는 추가적인 에러 신호를 결합하여 복원 블록의 크기와 동일한 크기의 에러 블록을 복원할 수 있다.
제 2 가산기(444)는 복원되는 에러 블록과 복원 블록을 가산하여 현재 블록을 복원한다. 즉, 제 2 가산기(444)는 제 2 역 변환기(442)에 의해 복원되는 에러 블록과 영상 부호화기(410)의 제 1 가산기(426)에 의해 생성되는 복원 블록을 가산하여 현재 블록을 복원한다.
영상 부호화 장치(400)로부터 출력되는 비트스트림은 영상 부호화기(410)의 제 1 부호화기(420)로부터 출력되는 부호화된 영상 데이터와 저주파수 부호화기(430)의 제 2 부호화기(438)로부터 출력되는 부호화된 저주파수 데이터를 포함할 수 있지만, 부호화된 저주파수 데이터를 포함하지 않고 부호화된 영상 데이터를 포함할 수도 있다. 즉, 제 1 부호화기(420) 또는 제 2 부호화기(438)는 비트스트림이 부호화된 영상 데이터를 포함할 때의 부호화 비용(이하 '제 1 부호화 비용'이라 칭함)과 비트스트림이 부호화된 영상 데이터와 부호화된 저주파수 데이터를 포함할 때의 부호화 비용(이하 '제 2 부호화 비용'이라 칭함)을 계산하고, 제 1 부호화 비용이 제 2 부호화 비용보다 작거나 같은 경우에는 부호화된 저주파수 데이터를 포함하지 않고 부호화된 영상 데이터를 포함하는 비트스트림을 최종적인 비트스트림으로 출력하고, 제 1 부호화 비용이 제 2 부호화 비용보다 큰 경우에는 부호화된 영상 데이터와 부호화된 저주파수 데이터를 포함하는 비트스트림을 최종적인 비트스트림으로 출력할 수 있다. 여기서, 부호화 비용은 율-왜곡 비용이 될 수 있지만, 이뿐만 아니라 부호화하는 데 소요되는 비용이라면 어떠한 비용이 될 수도 있다.
본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(400)는 입력 영상에서 현재 부호화하고자 하는 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 복원 블록을 생성하며, 현재 블록과 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성한다. 이와 같이 생성된 부호화된 영상 데이터와 부호화된 저주파수 데이터가 비트스트림을 구성한다.
여기서, 현재 블록은 매크로블록 또는 서브블록일 수 있다. 즉, 영상 부호화 장치(400)는 매크로블록 단위로 부호화된 영상 데이터와 부호화된 저주파수 데이터를 생성하여 픽처마다 또는 프레임마다의 비트스트림을 생성할 수도 있고, 매크로블록을 구성하는 서브블록 단위로 부호화된 영상 데이터와 부호화된 저주파수 데이터를 생성하여 매크로블록마다의 비트스트림을 생성할 수도 있다.
이러한 본 발명의 일 실시예에 따른 영상 부호화 방법은 도 8 및 도 9에 도시한 바와 같이 구체화되어 구현될 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법의 구현 예를 설명하기 위한 순서도이다.
영상 부호화 장치(400)는 현재 블록을 예측하여 예측 블록을 생성하고(S802), 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하며(S804), 잔여 블록을 제 1 변환 단위로 변환 및 양자화하여 잔여 블록의 양자화된 변환 계수를 생성하며(S806), 잔여 블록의 양자화된 변환 계수를 부호화하여 부호화된 영상 데이터를 생성할 수 있다(S808). 또한, 영상 부호화 장치(400)는 잔여 블록의 양자화된 변환 계수를 역 양자화 및 역 변환하여 잔여 블록을 복원하고(S810), 복원되는 잔여 블록을 예측 블록과 가산하여 복원 블록을 생성할 수 있다(S812).
또한, 영상 부호화 장치(400)는 현재 블록과 복원 블록을 감산하여 에러 블록을 생성하고(S814), 에러 블록을 제 2 변환 단위를 이용하여 에러 블록의 변환 계수를 생성하며(S816), 에러 블록의 변환 계수 중 저주파수 변환 계수를 선택하고 선택된 저주파수 변환 계수를 양자화하여 양자화된 저주파수 변환 계수를 생성하며(S818), 양자화된 저주파수 변환 계수를 부호화하여 부호화된 저주파수 데이터를 생성할 수 있다(S820).
여기서, 제 2 변환 단위는 하나 이상의 변환을 포함할 수 있으며, 현재 블록을 예측 부호화하는 데 이용되는 제 1 변환 단위보다 클 수 있으며, 현재 블록을 예측 부호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함할 수 있다.
또한, 단계 S818에서, 영상 부호화 장치(400)는 변환된 에러 블록의 변환 계수 중 DC 계수로부터 지그재그 스캔 순서에 따라 기 설정된 개수의 변환 계수를 저주파수 변환 계수로서 선택할 수 있다.
또한, 영상 부호화 장치(400)는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원하고(S822), 복원되는 저주파수 변환 계수를 역 변환하여 에러 블록을 복원하며(S824), 복원되는 에러 블록과 복원 블록을 가산하여 현재 블록을 복원할 수 있다(S826). 단계 S824에서, 영상 부호화 장치(400)는 복원되는 저주파수 변환 계수를 역 변환하여 복원되는 에러 신호에 추가의 에러 신호를 결합하여 에러 블록을 복원할 수 있다.
또한, 영상 부호화 장치(400)는 에러 블록의 저주파수 성분만을 부호화함을 나타내는 플래그 정보를 부호화하여 부호화된 플래그 데이터를 생성할 수 있다. 이 경우, 비트스트림은 부호화된 영상 데이터, 부호화된 저주파수 데이터 및 부호화된 플래그 데이터를 포함할 수 있다.
이상에서 전술한 바와 같이, 영상 부호화 장치(400)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 10는 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(1000)는 영상 복호화기(1010) 및 저주파수 복호화기(1030)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(1000)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
영상 복호화기(1010)는 비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성한다. 즉, 영상 복호화기(1010)는 비트스트림 으로부터 부호화된 영상 데이터를 추출하고, 부호화된 영상 데이터를 복호화하여 양자화된 변환 계수를 복원하며, 복원되는 양자화된 변환 계수를 제 1 변환 단위로 역 양자화 및 역 변환하여 잔여 블록을 복원하며, 현재 블록을 예측하여 예측 블록을 생성하며, 복원되는 잔여 블록을 예측 블록과 가산하여 복원 블록을 생성한다.
이를 위해, 영상 복호화기(1010)는 도 10에 도시한 바와 같이, 제 1 복호화기(1012), 제 1 역 양자화기(1014), 제 1 역 변환기(1016), 예측기(1018), 제 1 가산기(1020) 및 메모리(1022)를 포함하여 구성될 수 있다. 여기서, 제 1 복호화기(1012), 제 1 역 양자화기(1014), 제 1 역 변환기(1016), 예측기(1018), 제 1 가산기(1020) 및 메모리(1022) 각각의 동작과 기능은 도 3을 통해 전술한 복호화기(310), 역 양자화기(320), 역 변환기(330), 예측기(340), 가산기(350) 및 메모리(360)의 동작과 기능과 동일 또는 유사하므로 상세한 설명은 생략한다.
다만, 제 1 역 변환기(1016)에서 잔여 블록을 변환할 때 제 1 변환 단위로 변환할 수 있다. 이러한 제 1 변환 단위는 영상 부호화기(410)의 제 1 변환기(430)에서 이용한 제 1 변환 단위와 동일한 변환 단위일 수 있으며, 이러한 제 1 변환 단위는 4x8 변환, 8x4 변환, 16x8 변환, 8x16 변환 등과 같이 변환 블록의 가로 화소수 및 세로 화소수가 다른 직사각형 형태의 변환(즉, PxQ 변환, 단 P≠Q)일 수 있다. 또한, 제 1 변환 단위는 4x4 변환, 8x8 변환, 16x16 변환, 4x8 변환, 8x4 변환, 16x8 변환 및 8x16 변환 중 하나이거나 하나 이상의 조합일 수 있다.
또한, 도 3를 통해 전술한 가산기(350)는 역 변환기(330)로부터 출력되는 복원된 잔여 블록과 예측기(340)로부터 출력되는 예측 블록을 가산하여 현재 블록을 복원하고 복원되는 현재 블록을 메모리(360)에 저장하지만, 제 1 가산기(1020)는 제 1 역 변환기(1016)로부터 출력되는 복원되는 잔여 블록과 예측기(1018)로부터 출력되는 예측 블록을 가산하여 복원 블록(Reconstructed Block)을 출력하는데, 이러한 복원 블록을 메모리(360)에 저장하는 것이 아니라 저주파수 복호화기(1030)의 가산기(1038)로 출력한다. 여기서, 현재 블록이란 매크로블록 또는 서브블록일 수 있다.
저주파수 복호화기(1030)는 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하고, 에러 블록과 복원 블록을 가산하여 현재 블록을 복원한다. 즉, 저주파수 복호화기(1030)는 비트스트림으로부터 부호화된 저주파수 데이터를 추출하고, 부호화된 저주파수 데이터를 복호화하여 양자화된 저주파수 변환 계수를 복원하며, 복원되는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원하며, 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 에러 블록을 복원한다.
이를 위해, 저주파수 복호화기(1030)는 도 10에 도시한 바와 같이, 제 2 복호화기(1032), 제 2 역 양자화기(1034), 제 2 역 변환기(1036) 및 제 2 가산 기(1038)을 포함하여 구성될 수 있다.
제 2 복호화기(1032)는 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 양자화된 저주파수 변환 계수를 복원한다. 즉, 제 2 복호화기(1032)는 비트스트림으로부터 부호화된 저주파수 데이터를 추출하고 복호화하여 양자화된 저주파수 변환 계수를 복원한다. 제 2 복호화기(1032)는 엔트로피 부호화와 같이 저주파수 부호화기(430)가 양자화된 저주파수 변환 계수를 부호화한 부호화 방식과 동일한 부호화 방식을 역으로 수행하여 부호화된 저주파수 데이터를 복호화할 수 있다.
또한, 제 2 복호화기(1032)는 비트스트림으로부터 부호화된 저주파수 개수 데이터를 추출하고 복호화하여 양자화된 저주파수 계수의 개수에 대한 정보를 복원할 수 있으며, 복원된 양자화된 저주파수 계수의 개수를 이용하여 비트스트림으로부터 부호화된 저주파수 데이터를 올바르게 추출하여 복호화할 수 있다.
제 2 역 양자화기(1034), 제 2 역 변환기(1036) 및 제 2 가산기(1038)의 동작과 기능은 도 4를 통해 전술한 저주파수 부호화기(430)의 제 2 역 양자화기(440), 제 2 역 변환기(442) 및 제 2 가산기(444)의 동작과 기능과 동일 또는 유사하다. 다만, 제 2 가산기(444)는 복원되는 현재 블록을 메모리(428)에 저장하지만, 제 2 가산기(1038)는 복원되는 현재 블록을 메모리(1022)에 저장할 뿐만 아니라 복원 영상으로서 출력한다. 즉, 제 2 가산기(1038)로부터 출력되는 복원되는 현재 블록은 픽처 단위로 누적되어 복원 영상으로서 재생된다.
여기서, 제 2 변환 단위는 하나 이상의 변환을 포함할 수 있으며, 부호화된 영상 데이터를 예측 복호화는 데 이용되는 제 1 변환 단위보다 클 수 있으며, 부호화된 영상 데이터를 예측 복호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함할 수 있다. 제 2 변환 단위에 대해서는 도 5를 통해 전술하였으므로 상세한 설명은 생략한다.
또한, 제 2 역 변환기(1036)는 복원되는 저주파수 변환 계수를 역 변환하여 복원되는 에러 신호에 추가의 에러 신호를 결합하여 에러 블록을 복원할 수 있다. 또한, 제 2 복호화기(1032)는 비트스트림으로부터 부호화된 플래그 데이터를 추출하고 복호화하여 플래그 정보를 복원할 수 있으며, 이와 같이 부호화된 플래그 데이터를 추출하고 복호화하여 복원한 플래그 정보가 에러 블록의 저주파수 성분만을 부호화함을 나타내는 경우에만 부호화된 저주파수 데이터를 복호화할 수 있다.
본 발명의 일 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(1000)는 비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성하고, 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하며, 에러 블록과 복원 블록을 가산하여 현재 블록을 복원한다. 여기서, 현재 블록은 매크로블록 또는 서브블록일 수 있다.
이러한 본 발명의 일 실시예에 따른 영상 복호화 방법은 도 11에 도시한 바와 같이 구체화되어 구현될 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법의 구현 예를 설명하기 위한 순서도이다.
영상 복호화 장치(1000)는 비트스트림으로부터 부호화된 영상 데이터를 추출 하고 부호화된 영상 데이터를 복호화하여 양자화된 변환 계수를 복원하며(S1110), 복원되는 양자화된 변환 계수를 제 1 변환 단위로 역 양자화 및 역 변환하여 잔여 블록을 복원하며(S1120), 현재 블록을 예측하여 예측 블록을 생성하며(S1130), 복원되는 잔여 블록을 예측 블록과 가산하여 복원 블록을 생성한다(S1140).
또한, 영상 복호화 장치(1000)는 비트스트림으로부터 부호화된 저주파수 데이터를 추출하고 부호화된 저주파수 데이터를 복호화하여 양자화된 저주파수 변환 계수를 복원하며(S1150), 복원되는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원하며(S1160), 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 에러 블록을 복원하며(S1170), 에러 블록과 복원 블록을 가산하여 현재 블록을 복원한다(S1180).
여기서, 제 2 변환 단위는 하나 이상의 변환을 포함할 수 있으며, 부호화된 영상 데이터를 예측 복호화는 데 이용되는 제 1 변환 단위보다 클 수 있으며, 부호화된 영상 데이터를 예측 복호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함할 수 있다.
단계 S1170에서, 영상 복호화 장치(1000)는 복원되는 저주파수 변환 계수를 역 변환하여 복원되는 에러 신호에 추가의 에러 신호를 결합하여 에러 블록을 복원할 수 있다.
또한, 영상 복호화 장치(1000)는 비트스트림으로부터 부호화된 플래그 데이터를 추출하고 복호화하여 플래그 정보를 복원할 수 있다. 따라서, 단계 S1150 내지 단계 S1180은 복원되는 플래그 정보가 에러 블록의 저주파수 성분만을 부호화함 을 나타내는 경우에만 수행될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상을 부호화 및 복호화하는 영상 압축 처리 분야에 적용되어, 저주파수 성분을 고려하여 동영상을 부호화함에 따라 변환 및 양자화에 의한 블로킹 효과를 감소시키면서 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 영상을 구성하는 픽처들을 나타낸 예시도,
도 2는 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 3은 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 제 1 변환 블록과 제 2 변환 블록을 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따라 저주파수 변환 계수를 선택하는 과정을 설명하기 위한 예시도,
도 7은 본 발명의 일 실시예에 따라 추가의 변환 계수가 결합되어 생성되는 변환 블록을 나타낸 예시도,
도 8 및 도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법의 구현 예를 설명하기 위한 순서도,
도 10는 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법의 구현 예를 설명하기 위한 순서도이다.

Claims (25)

  1. 영상을 부호화하는 방법에 있어서,
    현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재블록에 대한 복원 블록을 생성하는 단계; 및
    상기 현재 블록에서 상기 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 현재 블록은,
    매크로블록 또는 서브블록인 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 복원 블록을 생성하는 단계는,
    상기 현재 블록을 예측하여 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계;
    상기 잔여 블록을 제 1 변환 단위로 변환 및 양자화하여 상기 잔여 블록의 양자화된 변환 계수를 생성하는 단계;
    상기 잔여 블록의 양자화된 변환 계수를 부호화하여 상기 부호화된 영상 데이터를 생성하는 단계;
    상기 잔여 블록의 양자화된 변환 계수를 역 양자화 및 역 변환하여 상기 잔 여 블록을 복원하는 단계; 및
    상기 복원되는 잔여 블록을 상기 예측 블록과 가산하여 상기 복원 블록을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서, 상기 부호화된 저주파수 데이터를 생성하는 단계는,
    상기 현재 블록과 상기 복원 블록을 감산하여 상기 에러 블록을 생성하는 단계;
    상기 에러 블록을 제 2 변환 단위를 이용하여 상기 에러 블록의 변환 계수를 생성하는 단계;
    상기 에러 블록의 변환 계수 중 저주파수 변환 계수를 선택하는 단계;
    상기 선택된 저주파수 변환 계수를 양자화하여 양자화된 저주파수 변환 계수를 생성하는 단계; 및
    상기 양자화된 저주파수 변환 계수를 부호화하여 상기 부호화된 저주파수 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 4 항에 있어서, 상기 제 2 변환 단위는,
    하나 이상의 변환을 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 4 항에 있어서, 상기 제 2 변환 단위는,
    상기 현재 블록을 예측 부호화하는 데 이용되는 제 1 변환 단위보다 큰 것을 특징으로 하는 영상 부호화 방법.
  7. 제 4 항에 있어서, 상기 제 2 변환 단위는
    상기 현재 블록을 예측 부호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함하는 특징으로 하는 영상 부호화 방법.
  8. 제 4 항에 있어서, 상기 영상 부호화 방법은,
    상기 양자화된 저주파수 변환 계수를 역 양자화하여 상기 저주파수 변환 계수를 복원하는 단계;
    상기 복원되는 저주파수 변환 계수를 역 변환하여 상기 에러 블록을 복원하는 단계; 및
    상기 복원되는 에러 블록과 상기 복원 블록을 가산하여 상기 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 4 항에 있어서, 상기 저주파수 변환 계수를 선택하는 단계는,
    상기 변환된 에러 블록의 변환 계수 중 DC 계수로부터 지그재그 스캔 순서에 따라 기 설정된 개수의 변환 계수를 상기 저주파수 변환 계수로서 선택하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 8 항에 있어서, 상기 에러 블록을 복원하는 단계는,
    상기 복원되는 저주파수 변환 계수를 역 변환하여 복원되는 에러 신호에 추가의 에러 신호를 결합하여 상기 에러 블록을 복원하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 에러 블록의 저주파수 성분만을 부호화함을 나타내는 플래그 정보를 부호화하여 부호화된 플래그 데이터를 생성하는 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 영상을 부호화하는 장치에 있어서,
    현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재블록에 대한 복원 블록을 생성하는 영상 부호화기; 및
    상기 현재 블록에서 상기 복원 블록을 감산하여 생성되는 에러 블록의 저주파수 성분만을 부호화하여 부호화된 저주파수 데이터를 생성하는 저주파수 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12 항에 있어서, 상기 저주파수 부호화기는,
    상기 현재 블록과 상기 복원 블록을 감산하여 상기 에러 블록을 생성하는 제 2 감산기;
    상기 에러 블록을 제 2 변환 단위로 변환하여 상기 에러 블록의 변환 계수를 생성하는 제 2 변환기;
    상기 에러 블록의 변환 계수 중 저주파수 변환 계수를 양자화하여 양자화된 저주파수 변환 계수를 생성하는 제 2 양자화기;
    상기 양자화된 저주파수 변환 계수를 부호화하여 상기 부호화된 저주파수 데이터를 생성하는 제 2 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제 13 항에 있어서, 상기 저주파수 부호화기는,
    상기 양자화된 저주파수 변환 계수를 역 양자화하여 상기 저주파수 변환 계수를 복원하는 제 2 역 양자화기;
    상기 복원되는 저주파수 변환 계수를 상기 제 2 변환 단위로 역 변환하여 상기 에러 블록을 복원하는 제 2 역 변환기; 및
    상기 복원되는 에러 블록과 상기 복원 블록을 가산하여 상기 현재 블록을 복원하는 제 2 가산기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  15. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성하는 단계;
    상기 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하는 단계; 및
    상기 에러 블록과 상기 복원 블록을 가산하여 현재 블록을 복원하는 단계
    를 포함하고,
    상기 에러 블록을 복원하는 단계는,
    상기 비트스트림으로부터 상기 부호화된 저주파수 데이터를 추출하는 단계;
    상기 부호화된 저주파수 데이터를 복호화하여 양자화된 저주파수 변환 계수를 복원하는 단계;
    상기 복원되는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원하는 단계; 및
    상기 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 상기 에러 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제 15 항에 있어서, 상기 현재 블록은,
    매크로블록 또는 서브블록인 것을 특징으로 하는 영상 복호화 방법.
  17. 제 15 항에 있어서, 상기 복원 블록을 생성하는 단계는,
    상기 비트스트림으로부터 상기 부호화된 영상 데이터를 추출하는 단계;
    상기 부호화된 영상 데이터를 복호화하여 양자화된 변환 계수를 복원하는 단계;
    상기 복원되는 양자화된 변환 계수를 제 1 변환 단위로 역 양자화 및 역 변환하여 잔여 블록을 복원하는 단계;
    상기 현재 블록을 예측하여 예측 블록을 생성하는 단계; 및
    상기 복원되는 잔여 블록을 상기 예측 블록과 가산하여 상기 복원 블록을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 삭제
  19. 제 15 항에 있어서, 상기 제 2 변환 단위는,
    하나 이상의 변환을 포함하는 것을 특징으로 하는 영상 복호화 방법.
  20. 제 15 항에 있어서, 상기 제 2 변환 단위는,
    상기 부호화된 영상 데이터를 예측 복호화는 데 이용되는 제 1 변환 단위보다 큰 것을 특징으로 하는 영상 복호화 방법.
  21. 제 15 항에 있어서, 상기 제 2 변환 단위는
    부호화된 영상 데이터를 예측 복호화하는 데 이용되는 이웃한 복수 개의 제 1 변환 단위를 포함하는 특징으로 하는 영상 복호화 방법.
  22. 제 15 항에 있어서, 상기 에러 블록을 복원하는 단계는,
    상기 복원되는 저주파수 변환 계수를 역 변환하여 복원되는 에러 신호에 추가의 에러 신호를 결합하여 상기 에러 블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
  23. 제 15 항에 있어서, 상기 영상 복호화 방법은,
    상기 비트스트림으로부터 부호화된 플래그 데이터를 추출하고 복호화하여 플래그 정보를 복원하는 단계를 추가로 포함하되, 상기 에러 블록을 복원하는 단계는 상기 복원되는 플래그 정보가 상기 에러 블록의 저주파수 성분만을 부호화함을 나타내는 경우에만 상기 부호화된 저주파수 데이터를 복호화하는 것을 특징으로 하는 영상 복호화 방법.
  24. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 추출되는 부호화된 영상 데이터를 예측 복호화하여 복원 블록을 생성하는 영상 복호화기; 및
    상기 비트스트림으로부터 추출되는 부호화된 저주파수 데이터를 복호화하여 에러 블록을 복원하고, 상기 에러 블록과 상기 복원 블록을 가산하여 현재 블록을 복원하는 저주파수 복호화기
    를 포함하고,
    상기 저주파수 복호화기는,
    상기 부호화된 저주파수 데이터를 복호화하여 양자화된 저주파수 변환 계수를 복원하는 제 2 복호화기;
    상기 복원되는 양자화된 저주파수 변환 계수를 역 양자화하여 저주파수 변환 계수를 복원하는 제 2 역 양자화기;
    상기 복원되는 저주파수 변환 계수를 제 2 변환 단위로 역 변환하여 상기 에러 블록을 복원하는 제 2 역 변환기; 및
    상기 복원되는 에러 블록과 상기 복원 블록을 가산하여 상기 현재 블록을 복원하는 제 2 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  25. 삭제
KR1020090090283A 2009-09-23 2009-09-23 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 KR101418101B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090090283A KR101418101B1 (ko) 2009-09-23 2009-09-23 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
PCT/KR2010/006018 WO2011037337A2 (ko) 2009-09-23 2010-09-03 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
US13/497,755 US9124901B2 (en) 2009-09-23 2010-09-03 Method and apparatus for encoding/decoding images considering low frequency components
US14/687,200 US9807425B2 (en) 2009-09-23 2015-04-15 Method and apparatus for encoding/decoding images considering low frequency components
US15/714,152 US10034024B2 (en) 2009-09-23 2017-09-25 Method and apparatus for encoding/decoding images considering low frequency components

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090090283A KR101418101B1 (ko) 2009-09-23 2009-09-23 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110032671A KR20110032671A (ko) 2011-03-30
KR101418101B1 true KR101418101B1 (ko) 2014-07-16

Family

ID=43796334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090090283A KR101418101B1 (ko) 2009-09-23 2009-09-23 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (3) US9124901B2 (ko)
KR (1) KR101418101B1 (ko)
WO (1) WO2011037337A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418101B1 (ko) * 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
JP5596884B2 (ja) * 2011-11-03 2014-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ フィルタリング方法およびフィルタリング装置
CN103391437B (zh) * 2013-07-16 2016-12-07 上海富瀚微电子股份有限公司 一种高动态图像视觉无损压缩的方法及装置
WO2016123001A1 (en) * 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
KR102555096B1 (ko) * 2016-06-09 2023-07-13 엘지디스플레이 주식회사 데이터 압축 방법 및 이를 이용한 유기 발광 다이오드 표시 장치
US11070837B2 (en) 2018-04-02 2021-07-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
BR122021011813A2 (pt) * 2018-11-12 2021-08-10 Lg Electronics Inc. Método de decodificação de imagens através de um aparelho de decodificação, método de codificação de imagens através de um aparelho de codificação e mídia de armazenamento legível por computador não transitória
US11481929B2 (en) * 2020-03-16 2022-10-25 Meta Platforms Technologies, Llc System and method for compressing and decompressing images using block-based compression format
WO2023198447A1 (en) * 2022-04-14 2023-10-19 Interdigital Ce Patent Holdings, Sas Coding of signal in frequency bands

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095011A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090099236A (ko) * 2008-03-17 2009-09-22 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0731614B1 (en) * 1995-03-10 2002-02-06 Kabushiki Kaisha Toshiba Video coding/decoding apparatus
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
WO2004028142A2 (en) 2002-09-17 2004-04-01 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
US20070189392A1 (en) * 2004-03-09 2007-08-16 Alexandros Tourapis Reduced resolution update mode for advanced video coding
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US7693219B2 (en) 2006-01-04 2010-04-06 Freescale Semiconductor, Inc. System and method for fast motion estimation
US8005140B2 (en) * 2006-03-17 2011-08-23 Research In Motion Limited Soft decision and iterative video coding for MPEG and H.264
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
KR101553850B1 (ko) 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
US8514942B2 (en) 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
EP2395755A4 (en) * 2009-02-09 2015-01-07 Samsung Electronics Co Ltd VIDEO PROCESSING AND DEVICE WITH LOW-COMPLEX FREQUENCY CONVERSION AND VIDEO PROCESSING AND DEVICE
KR101418101B1 (ko) * 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR20120009618A (ko) * 2010-07-19 2012-02-02 에스케이 텔레콤주식회사 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
US9185404B2 (en) * 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US9031137B2 (en) * 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095011A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090099236A (ko) * 2008-03-17 2009-09-22 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
WO2011037337A2 (ko) 2011-03-31
US9124901B2 (en) 2015-09-01
US20120201296A1 (en) 2012-08-09
US9807425B2 (en) 2017-10-31
WO2011037337A3 (ko) 2011-07-07
US10034024B2 (en) 2018-07-24
US20180014036A1 (en) 2018-01-11
US20150222900A1 (en) 2015-08-06
KR20110032671A (ko) 2011-03-30

Similar Documents

Publication Publication Date Title
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR101888333B1 (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101379188B1 (ko) 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
KR101673028B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20190009408A (ko) 영상 부호화/복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20150095232A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
KR20110028734A (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101418098B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101449692B1 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR20130044263A (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101673026B1 (ko) 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6