KR101418098B1 - 영상 부호화/복호화 장치 및 방법 - Google Patents

영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR101418098B1
KR101418098B1 KR1020090011558A KR20090011558A KR101418098B1 KR 101418098 B1 KR101418098 B1 KR 101418098B1 KR 1020090011558 A KR1020090011558 A KR 1020090011558A KR 20090011558 A KR20090011558 A KR 20090011558A KR 101418098 B1 KR101418098 B1 KR 101418098B1
Authority
KR
South Korea
Prior art keywords
block
coefficient
sub
blocks
prediction
Prior art date
Application number
KR1020090011558A
Other languages
English (en)
Other versions
KR20100092268A (ko
Inventor
김하윤
문주희
이영렬
김해광
전병우
김동원
박민철
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020090011558A priority Critical patent/KR101418098B1/ko
Priority to PCT/KR2010/000715 priority patent/WO2010093146A2/ko
Publication of KR20100092268A publication Critical patent/KR20100092268A/ko
Application granted granted Critical
Publication of KR101418098B1 publication Critical patent/KR101418098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것이다.
본 발명은 현재 블록을 변환 계수별로 율-왜곡 비용을 최소화하는 복수 개의 인트라 예측 모드로 인트라 예측 부호화하여 비트스트림을 출력하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
본 발명에 의하면, 현재 블록을 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
영상, 인트라 예측, 비트량, 압축

Description

영상 부호화/복호화 장치 및 방법{Video Coding Apparatus and Method}
본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 정지 영상 또는 동영상을 블록 단위로 부호화하고 복호화하는 데 있어서, 현재 부호화하거나 복호화하고자 하는 블록을 최적의 인트라 예측 모드를 이용하여 부호화하고 복호화하여 압축 효율을 향상시키기 위한 장치 및 방법에 관한 것이다.
디지털 화상을 효율적으로 압축하기 위한 표준 기술로서는, 정지 영상을 압축하는 경우, JPEG, JPEG-2000 등이 있으며, 동영상을 압축하는 경우, H.261, H.263, MPEG-2, MPEG-4 등이 있다. 또한, MPEG-2, MPEG-4 등의 기술을 계승하면서 더욱 향상된 압축 효율을 제공하는 MPEG-4 AVC(Advanced Video Coding)가 ISO(국제 표준화 기구)에 의해서 표준 규격화 되었다.
이러한 표준 기술에서는 동영상의 공간적 중복성과 시간적 중복성을 제거하여 동영상을 압축하기 위해, 인트라 예측 부호화와 인터 예측 부호화를 수행한다. 이러한 인트라 예측 부호화와 인터 예측 부호화를 수행하기 위해, 압축하고자 하는 동영상은 부호화를 위해 임의의 크기의 블록으로 분할되는데, 이와 같은 블록으로서, 예를 들어 MPEG-4 AVC에서는, 인트라 매크로블록과 인터 매크로블록이 사용된 다.
통상적으로, 인트라 예측 부호화는 현재 부호화될 매크로블록(이하 '현재 매크로블록'이라 칭함)을 현재 매크로블록의 주위에 있으며 이미 부호화되고 복호화된 매크로블록(이하 '주변 매크로블록'이라 칭함)을 이용하여 인트라 예측을 수행함으로써 예측 블록(이하 '인트라 예측 블록'이라 칭함)을 생성하고, 현재 매크로블록과 인트라 예측 블록의 차이인 잔차 블록을 부호화한다. 여기서, 주변 매크로블록을 이용하여 현재 매크로블록을 인트라 예측할 때에는, 현재 매크로블록의 블록 모드에 따라 다양한 인트라 예측 모드가 이용될 수 있다.
예를 들어, 현재 매크로블록의 블록 모드가 인트라 16x16 모드인 경우에는, 도 1에 도시한 바와 같은 4 가지의 인트라 예측 모드 중 하나의 인트라 예측 모드를 이용하여 현재 매크로블록을 예측할 수 있으며, 현재 매크로블록의 블록 모드가 인트라 4x4 모드인 경우에는, 도 2에 도시한 바와 같은 9 가지의 인트라 예측 모드 중 하나의 인트라 예측 모드를 이용하여 현재 매크로블록을 예측할 수 있다.
즉, 통상적인 인트라 예측 부호화에서는 현재 부호화할 매크로블록을 예측할 때에는 그 블록 모드에 따라 비트 대비 화질이 최선인 최적의 인트라 예측 모드를 결정하고, 해당 매크로블록에는 결정된 하나의 인트라 예측 모드에 따라 예측하여 부호화한다.
하지만, 이러한 통상적인 인트라 예측 부호화는 블록 단위로 비트 대비 화질이 최선인 예측 방향을 가지는 하나의 인트라 예측 모드로 예측을 수행하기 때문에, 현재 매크로블록을 예측하는 데 이용되는 인트라 예측 모드는 각 블록의 화소 또는 계수들에 대해 평균적으로 최선인 예측 방향을 가지는 인트라 예측 모드일 수는 있지만, 블록 내의 화소 또는 계수 각각에 대해서는 최적의 예측 방향이 아닐 수도 있다. 이와 같이, 통상적인 인트라 예측 부호화를 이용하면, 최적의 예측 방향으로 예측되지 않은 화소 또는 계수에 의해 최종적으로 부호화되어 출력되는 비트스트림의 비트량이 증가되므로, 압축 효율이 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 영상을 부호화하고 복호화하는 데 있어서, 현재 블록을 화소 또는 계수별로 복수 개의 인트라 예측 모드로 예측하고 부호화하고 복호화하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측기; 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산기; 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환기; 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택기; 결합 블록을 양자화하는 양자화기; 및 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현 재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측 블록 생성 단계; 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산 단계; 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환 단계; 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성하는 계수 선택 단계; 결합 블록을 양자화하는 양자화 단계; 및 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화기; 복호화된 결합 블록을 역 양자화하는 역 양자화기; 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기; 보정된 결합 블록을 역 변환하는 역 변환기; 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화 단계; 복호화된 결합 블록을 역 양자화하는 역 양자화 단계; 역 양자화된 결합 블록의 역 양 자화된 변환 계수를 복수 개의 구역으로 구분하는 구역 구분 단계; 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하는 대표 예측 방향 설정 단계; 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정 단계; 보정된 결합 블록을 역 변환하는 역 변환 단계; 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하며, 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하며, 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 감산기; 잔차 블록 및 복수 개의 잔차 서브블록을 변환하여 변환 블록 및 복수 개의 변환 서브블록을 생성하는 변환기; 변환 블록에서 서브블록별 DC 계수를 분리하고, 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리하는 계수 분리기; 변환 블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환기; 재변환된 DC 계수 블록을 양자화하고 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 양자화기; 및 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하 는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하는 블록 예측 단계; 현재 블록과 예측 블록을 감산하여 잔차 블록을 생성하는 블록 감산 단계; 잔차 블록을 변환하여 변환 블록을 생성하는 블록 변환 단계; 변환 블록에서 서브블록별 DC 계수를 분리하는 DC 계수 분리 단계; 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환 단계; 재변환된 DC 계수 블록을 양자화하는 DC 계수 블록 양자화 단계; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 서브를록 예측 단계; 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 서브블록 감산 단계; 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성하는 서브블록 변환 단계; 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하는 나머지 계수 분리 단계; 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 서브블록 양자화 단계; 및 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화기; 복호화된 DC 계수 블록을 역 양자화며, 복호화된 복 수 개의 서브블록을 역 양자화하는 역 양자화기; 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기; 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기; 보정된 각 DC 계수를 역 양자화된 복수 개의 서브블록에 결합하는 계수 결합기; DC 계수가 결합된 복수 개의 서브블록을 역 변환하는 역 변환기; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 및 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화 단계; 복호화된 DC 계수 블록을 역 양자화하는 DC 계수 블록 역 양자화 단계; 역 양자화된 DC 계수 블록을 역 변환하는 DC 계수 블록 역 변환 단계; 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정 단계; 복호화된 복수 개의 서브블록을 역 양자화하는 서브블록 역 양자화 단계; 보정된 각 DC 계수가 결합된 역 양자화된 복수 개의 서브블록을 역 변환하는 역 변환 단계; 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측 단계; 및 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산 단계를 포함하는 것을 특징으로 하는 영상 복 호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 현재 블록을 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(Video Encoding Apparatus, 300)는 예측기(Predictor, 310), 감산기(Subtracter, 320), 변환기(Transformer, 330), 계수 선택기(Coefficient Selector, 340), 양자화기(Quantizer, 350), 부호화기(Encoder, 360), 역 양자화기(Inverse Quantizer, 370), 계수 보정기(Coefficient Corrector, 380), 역 변환기(Inverse Transformer, 390), 가산기(Adder, 392), 디블로킹 필터(Deblocking Filter, 394) 및 픽처 버퍼(Picture Buffer, 396)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측기(310)는 현재 블록(Current Block)을 복수 개의 인트라 예측 모드(Intra Prediction Mode)로 예측하여 복수 개의 예측 블록(Predicted Block)을 생성한다. 즉, 예측기(310)는 입력 영상(Input Picture)에서 현재 부호화하고자 하는 블록 즉, 현재 블록이 입력되면, 현재 블록의 화소(Pixels)의 원 화소 값(Original Pixel Values)을 복수 개의 인트라 예측 모드의 예측 방향(Prediction Direction)에 따라 예측하여 예측 화소값(Predicted Pixel Values)을 가지는 복수 개의 예측 블록을 생성하여 출력한다.
여기서, 복수 개의 인트라 예측 모드는 현재 블록의 블록 모드에 따른 복수 개의 인트라 예측 모드이거나 사용자에 의해 미리 설정되는 복수 개의 인트라 예측 모드일 수 있다. 예를 들어, H.264/AVC 표준에 따라 동영상을 압축하고 현재 블록의 블록 모드(Block Mode)가 인트라 16x16 모드라고 가정하면, 복수 개의 인트라 예측 모드는 H.264/AVC 표준에서 정의하는 인트라 16x16 모드의 예측 모드인 4 개의 인트라 예측 모드가 될 수 있다. 또한, 동일한 경우, 사용자가 4 개의 인트라 예측 모드 중 수평 모드(Horizontal Mode)와 수직 모드(Vertical Mode)를 미리 설정한 경우, 복수 개의 인트라 예측 모드는 인트라 16x16 모드 중 수평 모드와 수직 모드가 될 수 있다.
감산기(320)는 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록(Residual Block)을 생성한다. 즉, 감산기(320)는 입력되는 입력 영상의 현재 블록과 예측기(310)에 의해 예측되어 생성되는 복수 개의 예측 블록을 각각 감산하여 복수 개의 잔차 블록을 생성하여 출력한다. 여기서, 출력되는 복수 개의 잔차 블록은 각각 잔차 신호(Residual Signal)를 포함하는데, 잔차 신호는 현재 블록의 원 화소값에서 예측 블록의 예측 화소값을 뺀 값을 가진다.
변환기(330)는 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록(Transformed Block)을 생성한다. 즉, 변환기(330)는 감산기(320)로부터 출력되 는 복수 개의 잔차 블록 각각의 잔차 신호를 주파수 영역(Frequency Domain)으로 변환하여 변환 계수를 가지는 복수 개의 변환 블록을 생성하여 출력한다. 여기서, 잔차 신호를 주파수 영역으로 변환 방법으로서는 이산 코사인 변환(DCT: Discrete Cosine Transform) 기반 변환 또는 하다마드 변환(Hadamard Transform) 등이 이용될 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법을 이용될 수 있으며, 이를 이용하여 잔차 신호가 주파수 영역으로 변환되어 변환 계수(Transform Coefficient)로 변환된다.
계수 선택기(340)는 복수 개의 변환 블록의 변환 계수들을 선택적으로 이용하여 결합 블록을 생성한다. 즉, 계수 선택기(340)는 변환기(340)로부터 출력되는 복수 개의 변환 블록의 변환 계수를 선택적으로 결합하여 현재 블록과 동일한 크기의 결합 블록을 생성하여 출력한다.
여기서, 계수 선택기(340)는 결합 블록을 생성하는 데 있어서, 복수 개의 변환 블록의 변환 계수 중에서 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 결합 블록을 구성할 변환 계수를 복수 개의 변환 블록에서 선택할 때, 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수만을 선택함으로써, 최종적으로 부호화되어 출력되는 비트스트림이 비트량과 대비할 때의 영상의 화질이 최적이 되도록 할 수 있다.
또한, 계수 선택기(340)는 복수 개의 변환 블록의 변환 계수 중에서 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변 환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 전술한 바와 같이, 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수만을 선택하는 것이 아니라, 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 일부 변환 계수를 선택하고 결합하여 결합 블록을 생성할 수 있다.
또한, 계수 선택기(340)는 기 설정된 결합 블록의 복수 개의 구역별로 서로 다른 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 선택되는 변환 계수를 결합하여 결합 블록을 생성할 수 있다. 즉, 계수 선택기(340)는 결합 블록을 구성하는 변환 계수들을 선택하는 데 있어서, 결합 블록을 복수 개의 구역으로 분할하여 각 분할된 구역별로 다른 인트라 예측 모드로 예측되어 생성된 변환 계수를 선택할 수 있다.
복수 개의 인트라 예측 모드로 현재 블록을 예측하여 결합 블록을 생성하는 과정을 예시적으로 나타낸 도 4를 참조하면, 예를 들어, 현재 블록의 원 화소값을 두 개의 인트라 예측 모드에 따른 두 개의 예측 방향(예측 방향 ① 및 예측 방향 ②)으로 예측한다고 가정한 경우, 제 1 예측 블록과 제 2 예측 블록이 각각 예측되어 생성되며, 각 예측 블록을 현재 블록과 감산하여 제 1 잔차 블록과 제 2 잔차 블록이 생성되며, 각 잔차 블록을 주파수 변환하여 제 1 변환 블록과 제 2 변환 블록이 생성된다.
위의 예에서, 예측 방향 ①로 예측하여 생성되는 잔차 신호 Ra00~Ra33를 변환한 계수들 Ca00~Ca33과 예측 방향 ②로 예측하여 생성되는 잔차신호 Rb00~Rb33를 변환한 계수들 Cb00~Cb33중에 최선의 계수들(예를 들어, 비트량 대비 화질이 최적인 변환 계수들)만은 선택하고 결합하여 결합 블록을 생성한다. 도 4에서는 Ca00~Ca11과 Cb12~Cb33이 각 예측 방향에서 최선의 계수들로 선택되고 결합되어 결합 블록이 구성되었다.
이때, 최선의 변환 계수들을 선택하는 예측 방향의 수는 사용자에 의해 임의로 설정될 수 있으며, 설정된 예측 방향에 따라 선택되는 변환 계수의 개수도 사용자에 의해 임의로 설정될 수 있다. 예를 들어, Ca00~Ca03은 예측 방향 ①로 예측되어 생성되는 변환 계수를 선택하고, Ca10~Ca13은 예측 방향 ②로 예측되어 생성되는 변환 계수를 선택하고, Ca20~Ca33은 또 다른 예측 방향 ③으로 예측하여 보낼 수도 있다.
구역별로 선택되어 결합된 변환 계수를 가지는 결합 블록을 나타낸 도 5를 참조하면, (1)과 같이 C00~13은 예측 방향 A로 예측하여 변환하였을 때의 변환 계수들을 선택하고, C20~33은 예측 방향 B로 예측하여 변환하였을 때의 변환 계수들을 선택하여 결합할 수 있다. 또한, (2), (3), (4)와 같이, 결합 블록은 임의의 크기 및 임의의 개수를 가지는 복수 개의 구역으로 분할될 수 있다.
양자화기(350)는 결합 블록을 양자화한다. 즉, 양자화기(350)는 계수 선택 기(340)로부터 출력되는 결합 블록의 변환 계수들을 양자화하여 양자화된 변환 계수를 결합 블록을 생성하여 출력한다. 여기서, 양자화 방법으로서는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등이 이용될 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.
부호화기(360)는 양자화된 결합 블록을 부호화하여 비트스트림을 출력한다. 즉, 부호화기(360)는 양자화기(350)로부터 출력되는 양자화된 결합 블록의 양자화된 변환 계수를 지그재그 스캔 등 다양한 스캔 방식으로 스캔한 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화함으로써 비트스트림을 생성하고 출력한다.
또한, 부호화기(360)는 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 부호화할 수 있다. 복수 개의 구역에 대한 정보란, 결합 블록이 복수 개의 구역으로 분할되고 각 구역에 대해 다른 인트라 예측 모드에 따른 예측 방향으로 예측되어 생성된 변환 계수를 선택하여 구성된 경우, 복수 개의 구역이 어떠한 크기와 형태로 분할되었는지를 식별하기 위한 정보를 나타내며, 복수 개의 구역의 예측 방향에 대한 정보란, 분할된 각 구역에 대해 어떠한 인트라 예측 모드에 따른 예측 방향으로 예측되어 생성된 변환 계수가 선택되었는지를 식별하기 위한 정보를 나타낸다.
역 양자화기(370)는 양자화된 결합 블록을 역 양자화한다. 즉, 역 양자화기(370)는 양자화기(350)로부터 출력되는 양자화된 결합 블록의 양자화 변환 계수 들을 역 양자화하여 출력한다.
계수 보정기(380)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다. 즉, 계수 보정기(380)는 역 양자화된 결합 블록이 역 변환될 수 있도록, 복수 개의 인트라 예측 모드로 예측되어 생성된 변환 계수를 하나의 인트라 예측 모드에 대한 변환 계수로 보정한다. 여기서, 대표 예측 방향이란 복수 개의 구역 중 임의의 하나의 구역의 예측 방향을 말하는 것이며, 복수 개의 구역의 예측 방향을 대표하는 예측 방향을 의미하는 것은 아니다. 따라서, 대표 예측 방향은 복수 개의 구역의 예측 방향 중에서 사용자가 미리 설정한 예측 방향 또는 임의로 선택되는 예측 방향이 될 수 있다.
역 양자화된 결합 블록을 보정하는 과정을 예시적으로 나타낸 도 6을 참조하면, 예를 들어, Ca00은 예측 방향 ①로 예측되었고 Cb01~33은 예측 방향 ②로 예측되었다고 가정하면, 예측 방향 ①로 예측되어 생성된 변환 계수 Ca00을 도 6에 나타낸 바와 수학식 1과 같이, 대표 예측 방향으로 결정된 예측 방향 ②로 예측하여 변환한 변환 계수로 보정할 수 있다.
Cbij' = Caij + Tij(Pa00~33 - Pb00~33)
위식에서 Cbij'는 보정된 변환 계수, Caij는 예측 방향 ①로 예측하여 감산되고 변환된 변환 계수, Tij(x)는 x의 값을 변환한 변환 계수 중 (i, j) 위치의 변환 계수만 추출한 변환 계수, Pa00~33은 예측 방향 ①로 현재 블록의 원 화소값을 예측한 예측 화소값, Pb00~33은 예측 방향 ②로 현재 블록의 원 화소값을 예측한 예측 화소값을 나타낸다. 수학식 1에서는 Tij(x)를 4x4 DCT 변환으로 예시적으로 나타내었지만, 4x4가 아닌 다른 크기의 변환이나 DCT 변환이 아닌 다른 변환도 이용될 수 있다.
수학식 1은 수학식 2 내지 수학식 5를 통해 도출될 수 있다. Pix00~33은 현재 블록의 원 화소값을 나타내며, Pa00~33은 예측 방향 ①로 예측한 예측 화소값을 나타내며, Pb00~33은 예측 방향 ②로 예측한 예측 화소값을 나타내며, Ra00~33은 예측 방향 ①로 예측한 예측 화소값과 원 화소값 간의 잔차 신호를 나타내며, Rb00~33은 예측 방향 ②로 예측한 예측 화소값과 원 화소값 간의 잔차 신호라를 나타낸다고 가정하면, Ra00~33와 Rb00~33는 수학식 2 및 수학식 3과 같이 나타낼 수 있다.
Pix00~33 - Pa00~33 = Ra00~33
Pix00~33 - Pb00~33 = Rb00~33
수학식 3에서 수학식 2를 빼면, 수학식 4와 같이 나타낼 수 있다.
(Pix00~33 - Pb00~33) - (Pix00~33 - Pa00~33) = Rb00~33 - Ra00~33
Pa00~33 - Pb00~33 = Rb00~33 - Ra00~33
수학식 4의 양변에 대해 T(x)를 취해 주파수 변환을 수행하면, 수학식 5와 같이 나타낼 수 있다.
T(Pa00~33 - Pb00~33) = T(Rb00~33 - Ra00~33)
T(Pa00~33 - Pb00~33) = T(Rb00~33 ) - T(Ra00~33)
T(Pa00~33 - Pb00~33) = Cb00~33 - Ca00~33
Cb00~33 = Ca00~33 + T(Pa00~33 - Pb00~33)
따라서, 수학식 1과 같은 계산을 통해, 예측 방향 ①로 예측하여 생성된 변환 계수를 예측 방향 ②로 예측하여 생성된 변환 계수로 보정할 수 있다.
역 변환기(390)는 보정된 결합 블록을 역 변환한다. 즉, 역 변환기(390)는 계수 보정기(380)에 의해 대표 예측 방향에 따라 보정된 변환 계수를 포함하는 결합 블록의 변환 계수를 역 변환한다.
가산기(392)는 복수 개의 예측 블록 중 대표 예측 방향으로 예측된 예측 블 록과 역 변환된 결합 블록을 가산한다. 즉, 가산기(392)는 예측기(310)에서 복수 개의 인트라 예측 모드에 따른 예측 방향으로 예측된 복수 개의 예측 블록 중에서 대표 예측 방향으로 예측된 예측 블록을 역 변환기(390)에 의해 역 변환된 결합 블록의 복원된 잔차 신호와 가산하여 복원된 현재 블록을 생성하여 출력한다.
디블로킹 필터(394)는 가산기(392)로부터 출력되는 복원된 현재 블록을 디블로킹 필터링하여 블록 왜곡 등을 제거하여 출력한다. 픽처 버퍼(396)는 디블로킹 필터(394)에 의해 블록 왜곡 등이 제거된 현재 블록을 저장하여 예측기(310)에서 현재 블록을 예측할 때 참조할 참조 픽처 또는 참조 블록으로 이용할 수 있도록 한다.
한편, 도 3에서는 본 발명의 일 실시예에 따른 영상 부호화 장치(300)가 역 양자화기(370), 계수 보정기(380), 역 변환기(390), 가산기(392), 디블로킹 필터(394) 및 픽처 버퍼(396)까지 모두 포함하는 것으로 도시하고 설명했지만, 역 양자화기(370), 계수 보정기(380), 역 변환기(390), 가산기(392), 디블로킹 필터(394) 및 픽처 버퍼(396)는 반드시 포함되지 않고 구현에 따라 선택적으로 포함될 수 있다. 또한, 이 경우, 디블로킹 필터(394) 및 픽처 버퍼(396)는 필요에 따라 선택적으로 포함될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(300)는 영상에서 부호화하고자 하는 현재 블록이 결정되면, 현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하고(S710), 현재 블록과 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하며(S720), 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성한다(S730).
또한, 영상 부호화 장치(300)는 복수 개의 변환 블록의 변환 계수를 선택적으로 결합하여 결합 블록을 생성하고(S740), 결합 블록을 양자화하며(S750), 양자화된 결합 블록을 부호화하여 비트스트림을 출력한다(S760).
도 7과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(300)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(Video Decoding Apparatus, 800)는 복호화기(Decoder, 810), 역 양자화기(820), 계수 보정기(830), 역 변환기(840), 예측기(850), 가산기(860), 디블로킹 필터(870) 및 픽처 버퍼(880)를 포 함하여 구성될 수 있다. 이러한 영상 복호화 장치(800)는 개인용 컴퓨터, 노트북 컴퓨터, 개인 휴대 단말기, 휴대형 멀티미디어 플레이어, 이동통신 단말기 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화기(810)는 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화한다. 즉, 복호화기(810)는 입력되는 비트스트림으로부터 부호화된 결합 블록을 추출하여 영상 부호화 장치(300)의 부호화기(360)에서 이용한 엔트로피 부호화와 같은 부호화 기법을 이용하여 복호화한다.
여기서, 비트스트림은 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 포함할 수 있는데, 복호화기(810)는 비트스트림으로부터 복수 개의 구역에 대한 정보 및 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 추출하여 필요에 따라 복호화하며, 이러한 정보는 계수 보정기(830)에서 결합 블록의 구역과 각 구역에 대한 인트라 예측 모드를 식별하고 대표 예측 방향을 식별하는 데 이용될 수 있다.
역 양자화기(820)는 복호화된 결합 블록을 역 양자화한다. 즉, 역 양자화기(820)는 복호화기(810)에 의해 복호화된 결합 블록 내의 양자화된 변환 계수를 역 양자화한다. 이때, 역 양자화기(820)는 영상 부호화 장치(300)의 양자화기(350)에서 이용한 양자화 기법을 역으로 수행하여 역 양자화한다.
계수 보정기(830)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다. 계수 보정기(830)가 역 양자화된 결합 블록을 보정하는 것에 대해서는 도 3을 통해 전술한 영상 부호화 장치(300)의 계수 보정기(380)에서 전술한 바와 동일 또는 유사하므로 상세한 설명은 생략한다. 여기서, 대표 예측 방향이란 복수 개의 구역 중 임의의 하나의 구역의 예측 방향을 말하는 것이며, 복수 개의 구역의 예측 방향을 대표하는 예측 방향을 의미하는 것은 아니다. 따라서, 대표 예측 방향은 복수 개의 구역의 예측 방향 중에서 사용자가 미리 설정한 예측 방향 또는 임의로 선택되는 예측 방향이 될 수 있다.
역 변환기(840)는 보정된 결합 블록을 역 변환한다. 즉, 역 변환기(390)는 계수 보정기(830)로부터 출력되는 보정된 결합 블록의 변환 계수를 역 변환하는데, 영상 부호화 장치(300)의 변환기(330)에서 이용한 변환 기법을 역으로 수행하여 역 변환한다.
예측기(850)는 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측기(850)는 계수 보정기(830)에서 결정한 대표 예측 방향을 가지는 인트라 예측 모드로 현재 블록을 예측하여 예측 블록을 생성한다.
가산기(860)는 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원한다. 즉, 가산기(860)는 예측기(850)로부터 출력되는 예측 블록의 예측 화소값 과 역 변환기(840)로부터 출력되는 역 변환된 결합 블록의 복원된 잔차 신호를 가산하여 현재 블록의 복원 화소값을 계산함으로써, 현재 블록을 복원한다.
이와 같이, 복원된 현재 블록은 픽처 단위로 누적되어 복원 영상으로 출력될 수 있으나, 디블로킹 필터(870)를 통해 디블로킹 필터링되어 블록 왜곡이 제거된 후 출력될 수 있으며, 디블로킹 필터링된 현재 블록은 픽처 버퍼(880)에 저장되어, 예측기(850)가 현재 블록을 예측하는 데 이용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(800)는 비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하고(S910), 복호화된 결합 블록을 역 양자화한다(S920).
또한, 영상 복호화 장치(800)는 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고(S930), 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며(S940), 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정한다(S950).
또한, 영상 복호화 장치(800)는 보정된 결합 블록을 역 변환하고(S960), 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하며(S970), 예측 블록과 역 변환된 결합 블록을 가산하여 현재 블록을 복원한다(S980).
도 9와 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서는 동일한 블록 모드(예를 들어, 인트라 4x4 모드)에 따른 복수 개의 인트라 예측 모드를 하나의 현재 블록에 적용하여 예측하고 부호화하는 것에 대해 설명했다. 이하에서는 하나의 현재 블록에 상이한 블록 모드(예를 들어, 인트라 16x16 모드와 인트라 4x4 모드)에 따른 복수 개의 인트라 예측 모드를 적용하여 예측하고 부호화하는 것에 대해 다른 실시예로서 설명한다.
이하에서는 본 발명의 다른 실시예를 설명하는 데 있어서, 현재 블록이 16x16 매크로블록인 것으로 가정한다. 다만, 이러한 가정은 설명의 편의를 위한 것일 뿐, 현재 블록이 반드시 16x16 매크로블록인 경우에만 본 발명의 다른 실시예가 적용될 수 있는 것은 아니며, 다양한 형태의 블록에서도 적용될 수 있다. 따라서, 이하에서 설명될 현재 매크로블록은 현재 블록으로 일반화될 수 있으며, 매크로블록 인트라 예측 모드는 블록 인트라 예측 모드로 일반화될 수 있으며, 예측 매크로블록은 예측 블록으로 일반화될 수 있으며, 잔차 매크로블록은 잔차 블록으로 일반화될 수 있으며, 변환 매크로블록은 변환 블록으로 일반화될 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(1000)는 예측기(1010), 감산기(1020), 변환기(1030), 계수 분리기(Coefficient Seperator, 1040), DC 계수 변환기(DC Coefficient Transformer, 1042), 양자화기(1050), 부호화기(1060), 역 양자화기(1070), 계수 보정기(1080), 계수 결합기(Coefficient Coupler, 1090), 역 변환기(1092), 가산기(1094), 디블로킹 필터(1096) 및 픽처 버퍼(1098)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(100)는 개인용 컴퓨터, 노트북 컴퓨터, 개인 휴대 단말기, 휴대형 멀티미디어 플레이어, 플레이스테이션 포터블, 이동통신 단말기 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측기(1010)는 현재 매크로블록(Current Macroblock)을 매크로블록 인트라 예측 모드(Macroblock Intra Prediction Mode)로 예측하여 예측 매크로블록(Predicted Macroblock)을 생성하며, 현재 매크로블록이 분할된 복수 개의 서브블록(Subblock)을 서브블록 인트라 예측 모드(Subblock Intra Prediction Mode)로 예측하여 복수 개의 예측 서브블록(Predicted Subblock)을 생성한다. 즉, 예측기(1010)는 입력 영상에서 부호화하고자 하는 현재 매크로블록이 결정되면, 현재 매크로블록의 원 화소값을 매크로블록 인트라 예측 모드의 예측 방향에 따라 예측하여 예측 화소값을 가지는 예측 블록을 생성하여 출력한다.
여기서, 현재 매크로블록의 블록 모드는 인트라 16x16 모드일 수 있으며, 매크로블록 인트라 예측 모드는 H.264/AVC 표준에 따라 인트라 16x16 모드에 대한 4 개의 인트라 예측 모드 중 하나이거나 하나 이상을 포함하는 인트라 예측 모드 그룹일 수 있다. 또한, 현재 매크로블록은 일정한 크기의 여러 개의 서브블록으로 분할될 수 있는데, 현재 매크로블록의 블록 모드가 인트라 16x16 모드인 경우, 4x4 크기를 가지는 16 개의 서브블록으로 분할될 수 있다. 따라서, 예측기(1010)는 현재 매크로블록이 분할된 복수 개의 서브블록을 예측하는데, 각 서브블록을 예측할 때, 서브블록 인트라 예측 모드에 따른 예측 방향에 따라 각 서브블록의 원 화소값을 예측하여 예측 화소값을 가지는 복수 개의 예측 서브블록을 생성한다. 서브블록 인트라 예측 모드 H.264/AVC 표준에 따라 인트라 16x16 모드에 대한 9 개의 인트라 예측 모드 중 하나이거나 하나 이상을 포함하는 인트라 예측 모드 그룹일 수 있다.
또한, 매크로블록 인트라 예측 모드와 서브블록 인트라 예측 모드는 서로 다른 인트라 예측 모드일 수 있으며, 각 서브블록을 예측하는 인트라 예측 모드는 모두 동일한 인트라 예측 모드일 수도 있지만, 다른 인트라 예측 모드가 이용될 수도 있다.
감산기(1020)는 현재 매크로블록과 예측 매크로블록을 감산하여 잔차 매크로블록을 생성하며, 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성한다. 즉, 감산기(1020)는 현재 매크로블록의 원 화소값에서 예측기(1010)에 의해 생성된 예측 매크로블록의 예측 화소값을 감산하여 잔차 신호를 가지는 잔차 매크로블록을 생성하여 출력하고, 현재 매크로블록이 분할된 복수 개의 서브블록의 원 화소값에서 예측기(1010)에 의해 생성된 복수 개의 예측 서브블록의 예측 화소값을 각각 감산하여 잔차 신호를 가지는 복수 개의 잔차 서브블록을 생성하고 출력한다.
변환기(1030)는 잔차 매크로블록 및 복수 개의 잔차 서브블록을 변환하여 변환 매크로블록 및 복수 개의 변환 서브블록을 생성한다. 즉, 변환기(1030)는 감산 기(1020)로부터 출력되는 잔차 매크로블록의 잔차 신호를 주파수 변환하여 출력하고, 감산기(1020)로부터 출력되는 복수 개의 잔차 서브블록 각각의 잔차 신호를 주파수 변환하여 출력한다.
계수 분리기(1040)는 변환 매크로블록에서 서브블록별 DC 계수를 분리하고, 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리한다. 즉, 계수 분리기(1040)는 변환기(1030)로부터 출력되는 변환 매크로블록을 서브블록 단위로 구분했을 때, 구분된 각 서브블록에서 DC 성분에 해당하는 계수인 DC 계수를 분리하며, 변환기(1030)로부터 출력되는 복수 개의 변환 서브블록에서 DC 성분에 해당하는 계수인 DC 계수를 분리한다.
DC 계수 변환기(1042)는 변환 매크로블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환한다. 즉, DC 계수 변환기(1042)는 계수 분리기(1040)에 의해 분리된 DC 계수들을 서브블록의 크기를 가지는 블록 형태로 결합하여 DC 계수 블록을 생성하고, DC 계수 블록을 주파수 영역으로 재변환한다. 이때, DC 계수 변환기(1042)는 하다마드 변환(Hadamard Transform)을 수행할 수 있지만, 반드시 이에 한정되지 않고 다양한 변환 기법으로 재변환할 수 있다.
DC 계수를 추출하여 변환하는 과정을 예시적으로 나타낸 도 11을 참조하면, 잔차 매크로블록의 각 잔차 신호를 DCT 기반 변환 등을 이용하여 주파수 영역으로 변환한 후, 매크로블록을 복수 개의 서브블록으로 구분했을 때, 각 서브블록에서 DC 성분을 가지는 계수인 DC 계수 DC00~DC33만을 각 서브블록에서 분리하여 분리된 DC 계수를 서브블록의 크기를 가지는 블록으로 결합함으로써 DC 계수 블록을 생성한다. 이와 같이, 생성된 DC 계수 블록의 각 DC 계수는 하다마드 변환과 같은 변환 기법을 이용하여 재변환된다. 또한, 재변환된 DC 계수 블록은 독립적으로 양자화되고, DC 계수가 분리되고 나머지 변환 계수만을 가지는 각 서브블록들도 독립적으로 양자화된다.
양자화기(1050)는 재변환된 DC 계수 블록을 양자화하고 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화한다. 즉, 양자화기(1050)는 DC 계수 변환기(1042)에 의해 재변환된 DC 계수 블록의 재변환된 DC 계수들을 양자화하고, 계수 분리기(1040)에 의해 DC 계수들이 분리되어 남은 나머지 변환 계수를 가지는 복수 개의 변환 서브블록의 변환 계수들을 양자화한다. 이때, 양자화기(1050)는 다양한 양자화 기법을 이용할 수 있다.
부호화기(1060)는 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력한다. 즉, 부호화기(1060)는 양자화된 DC 계수 블록의 양자화 변환 계수를 부호화하고, 양자화된 복수 개의 변환 서브블록의 양자화된 변환 계수를 부호화함으로써, 비트스트림을 생성하고 출력한다.
역 양자화기(1070)는 양자화된 DC 계수 블록을 역 양자화며, 양자화된 복수 개의 변환 서브블록을 역 양자화한다. 이때, 역 양자화기(1070)는 양자화기(1060)에서 양자화한 기법을 역으로 수행하여 역 양자화할 수 있다.
DC 계수 역 변환기(1072)는 역 양자화된 DC 계수 블록의 DC 계수를 역 변환한다. 이때, DC 계수 역 변환기(1072)는 DC 계수 변환기(1042)에서 수행한 변환 과 정을 역으로 수행함으로써, DC 계수를 역 변환한다.
계수 보정기(1080)는 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다. 즉, 계수 보정기(1080)는 역 변환된 DC 계수 블록의 DC 계수를 대응하는 서브블록의 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는데, 다른 예측 방향의 변환 계수로 보정하는 방법은 도 6과 수학식 1 내지 수학식 5를 통해 전술한 보정 방법과 동일 또는 유사하므로, 상세한 설명은 생략한다. 다만, 서브블록을 예측하는 데 이용한 서브블록의 인트라 예측 모드가 각 서브블록별로 다른 경우에는 해당 서브블록에서 이용한 예측 방향을 대표 예측 방향으로 설정하여 보정한다.
계수 결합기(1090)는 보정된 DC 계수를 역 양자화된 복수 개의 변환 서브블록에 결합한다. 즉, 계수 결합기(1090)는 계수 보정기(1080)에 의해 각 서브블록의 예측 방향으로 보정된 각 DC 계수를 대응하는 각 변환 서브블록의 DC 성분의 변환 계수 위치에 대입함으로써 각 변환 서브블록에 결합한다.
역 변환기(1092)는 DC 계수가 결합된 복수 개의 변환 서브블록을 역 변환한다. 즉, 역 변환기(1092)는 보정된 DC 계수가 결합된 복수 개의 변환 서브블록의 변환 계수를 각 변환 서브블록별로 역 변환한다.
가산기(1094)는 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산한다. 즉, 가산기(1094)는 예측기(1010)에서 서브블록 인트라 예측 모드(모든 서브블록에 동일하게 적용되거나 각 서브블록별로 다르게 적용된 인트라 예측 모드)에 따른 예측 방향으로 예측된 각 서브블록의 예측 블록과 역 변환기(1092)에 의해 역 변환되어 복원된 각 서브블록별 잔차 신호를 가산하여 현재 매크로블록이 분할된 각 서브블록을 복원한다.
복원된 각 서브블록은 그대로 예측기(1010)에서 예측하는 데 이용될 수 있지만, 디블로킹 필터(1096)를 통해 디블로킹 필터링되어 블록 왜곡이 제거되고, 픽처 버퍼(1098)에 저장되어 이용될 수 있다.
한편, 각 서브블록을 부호화하고 복호화하는 순서는 도 12 또는 도 13에 도시한 바와 같을 수 있다. 즉, ① 번 서브블록을 부호화하고 부호화된 ① 번 서브블록을 복호화하여 복원한 후, 복원된 ① 서브블록을 이용하여 ② 번 서브블록을 부호화하고, 부호화된 ② 번 서브블록을 복호화하여 복원하는 방식으로 각 서브블록을 부호화하고 복호화할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
영상 부호화 장치(1000)는 현재 매크로블록을 매크로블록 인트라 예측 모드로 예측하여 예측 매크로블록을 생성하고(S1410), 현재 매크로블록과 예측 매크로블록을 감산하여 잔차 매크로블록을 생성하며(S1420), 잔차 매크로블록을 변환하여 변환 매크로블록을 생성한다(S1430). 이후, 영상 부호화 장치(1000)는 변환 매크로블록에서 서브블록별 DC 계수를 분리하고(S1440), 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하며(S1450), 재변환된 DC 계수 블록을 양자화한다(S1460).
또한, 영상 부호화 장치(1000)는 현재 매크로블록이 분할된 복수 개의 서브 블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하고(S1470), 복수 개의 서브블록과 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하며(S1480), 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성한다(S1490). 이후, 영상 부호화 장치(1000)는 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하고(S1492), 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하며(S1494), 양자화된 DC 계수 블록 및 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력한다(S1496).
도 10과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 영상 부호화 장치(1000)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 15는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치(1500)는 복호화기(1510), 역 양자화기(1520), DC 계수 역 변환기(1530), 계수 보정기(1540), 계수 결합 기(1550), 역 변환기(1560), 예측기(1570), 가산기(1580), 디블로킹 필터(1590) 및 픽처 버퍼(1592)를 포함하여 구성될 수 있다.
복호화기(1510)는 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화한다. 여기서, 비트스트림은 서브블록 인트라 예측 모드에 대한 정보를 포함할 수 있다.
역 양자화기(1520)는 복호화된 DC 계수 블록을 역 양자화며, 복호화된 복수 개의 서브블록을 역 양자화한다. DC 계수 역 변환기(1530)는 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환한다. 계수 보정기(1540)는 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다.
계수 결합기(1550)는 보정된 각 DC 계수를 역 양자화된 복수 개의 서브블록에 결합한다. 역 변환기(1560)는 DC 계수가 결합된 복수 개의 서브블록을 역 변환한다.
예측기(1570)는 현재 매크로블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성한다. 가산기(1580)는 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 매크로블록을 복원한다.
이와 같이 복원된 현재 매크로블록은 픽처 단위로 누적되어 복원 영상으로 출력되거나 디블로킹 필터(1590)에 의해 디블로킹 필터링되어 블록 왜곡이 제거된 후 픽처 단위로 누적되어 복원 영상으로 출력될 수 있으며, 픽처 버퍼(1592)에 저장되어 예측기(1570)가 예측을 수행하는 데 활용될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
영상 복호화 장치(1500)는 비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하고(S1610), 복호화된 DC 계수 블록을 역 양자화하며(S1620), 역 양자화된 DC 계수 블록을 역 변환하여(S1630), 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정한다(S1640).
또한, 영상 복호화 장치(1500)는 복호화된 복수 개의 서브블록을 역 양자화하고(S1650), 보정된 각 DC 계수가 결합된 역 양자화된 복수 개의 서브블록을 역 변환하며(S1660), 현재 매크로블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하며(S1670), 복수 개의 예측 서브블록과 역 변환된 복수 개의 서브블록을 가산하여 현재 매크로블록을 복원한다(S1680).
도 16과 그에 대한 설명에서 나타낸 각 단계의 순서는 예시적인 것일 뿐, 각 단계의 일부 또는 전부의 순서가 선택적으로 변경되어 수행되거나 경우에 따라서는 병행적으로 수행될 수도 있다.
이상에서 설명한 바와 같이, 본 발명은 현재 블록을 변환 계수별로 율-왜곡 비용을 최소화하는 복수 개의 인트라 예측 모드로 인트라 예측 부호화하여 비트스트림을 출력함으로써, 블록 내의 화소 또는 계수별로 최적의 예측 방향으로 예측할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어 와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상을 부호화하고 복호화하는 영상 처리 분야에 적용되어, 현재 블록 내의 화소 또는 계수별로 최적의 인트라 예측 모드로 예측하여 부호화하거나 복호화할 수 있으므로, 비트 대비 최선의 화질을 유지하면서도 비트량을 줄일 수 있어, 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 H.264/AVC 표준에 따른 인트라 16x16 예측 모드를 나타낸 예시도,
도 2는 H.264/AVC 표준에 따른 인트라 4x4 예측 모드를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 4는 본 발명의 일 실시예에 따라 복수 개의 인트라 예측 모드로 현재 블록을 예측하여 결합 블록을 생성하는 과정을 나타낸 예시도,
도 5는 본 발명의 일 실시예에 따라 구역별로 선택되어 결합된 변환 계수를 가지는 결합 블록을 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따라 역 양자화된 결합 블록을 보정하는 과정을 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 11은 본 발명의 다른 실시예에 따라 DC 계수를 추출하여 변환하는 과정을 나타낸 예시도,
도 12 및 도 13은 본 발명의 다른 실시예에 따라 각 서브블록을 부호화하고 복호화하여 복원하는 순서를 나타낸 예시도,
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 15는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

Claims (19)

  1. 영상을 부호화하는 장치에 있어서,
    현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측기;
    상기 현재 블록과 상기 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산기;
    상기 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환기;
    상기 복수 개의 변환 블록에서 선택된 변환 계수를 결합하여 결합 블록을 생성하는 계수 선택기;
    상기 결합 블록을 양자화하는 양자화기; 및
    상기 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 계수 선택기는,
    상기 복수 개의 변환 블록의 변환 계수 중에서 상기 결합 블록의 율-왜곡 비용을 최소화하는 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1 항에 있어서, 상기 계수 선택기는,
    상기 복수 개의 변환 블록의 변환 계수 중에서 사용자에 의해 기 설정된 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 1 항에 있어서, 상기 복수 개의 인트라 예측 모드는,
    사용자에 의해 기 설정되는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 1 항에 있어서, 상기 계수 선택기는,
    기 설정된 상기 결합 블록의 복수 개의 구역별로 다른 인트라 예측 모드로 예측되어 감산되고 변환된 변환 블록의 변환 계수를 선택하고 상기 선택되는 변환 계수를 결합하여 상기 결합 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 결합 블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기;
    상기 보정된 결합 블록을 역 변환하는 역 변환기; 및
    상기 복수 개의 예측 블록 중 상기 대표 예측 방향에 따라 예측된 예측 블록과 상기 역 변환된 결합 블록을 가산하는 가산기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6 항에 있어서, 상기 부호화기는,
    상기 복수 개의 구역에 대한 정보 및 상기 복수 개의 구역의 예측 방향에 대한 정보를 추가로 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  8. 영상을 부호화하는 방법에 있어서,
    현재 블록을 복수 개의 인트라 예측 모드로 예측하여 복수 개의 예측 블록을 생성하는 예측 블록 생성 단계;
    상기 현재 블록과 상기 복수 개의 예측 블록을 감산하여 복수 개의 잔차 블록을 생성하는 감산 단계;
    상기 복수 개의 잔차 블록을 변환하여 복수 개의 변환 블록을 생성하는 변환 단계;
    상기 복수 개의 변환 블록에서 선택된 변환 계수를 결합하여 결합 블록을 생성하는 계수 선택 단계;
    상기 결합 블록을 양자화하는 양자화 단계; 및
    상기 양자화된 결합 블록을 부호화하여 비트스트림을 출력하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화기;
    상기 복호화된 결합 블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하고, 상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하며, 상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정기;
    상기 보정된 결합 블록을 역 변환하는 역 변환기;
    상기 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및
    상기 예측 블록과 상기 역 변환된 결합 블록을 가산하여 상기 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9 항에 있어서, 상기 비트스트림은,
    상기 복수 개의 구역에 대한 정보 및 상기 복수 개의 구역의 예측 방향에 대한 정보 중 하나 이상을 추가로 포함하는 것을 특징으로 하는 영상 복호화 장치.
  11. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 결합 블록을 추출하여 복호화하는 복호화 단계;
    상기 복호화된 결합 블록을 역 양자화하는 역 양자화 단계;
    상기 역 양자화된 결합 블록의 역 양자화된 변환 계수를 복수 개의 구역으로 구분하는 구역 구분 단계;
    상기 복수 개의 구역 중 하나의 구역의 예측 방향을 대표 예측 방향으로 선택하는 대표 예측 방향 설정 단계;
    상기 복수 개의 구역 중 나머지 구역의 역 양자화된 변환 계수를 상기 대표 예측 방향에 따라 보정함으로써 역 양자화된 결합 블록을 보정하는 계수 보정 단계;
    상기 보정된 결합 블록을 역 변환하는 역 변환 단계;
    상기 대표 예측 방향으로 현재 블록을 예측하여 예측 블록을 생성하는 예측 단계; 및
    상기 예측 블록과 상기 역 변환된 결합 블록을 가산하여 상기 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  12. 영상을 부호화하는 장치에 있어서,
    현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하며, 상기 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하며, 상기 복수 개의 서브블록과 상기 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 감산기;
    상기 잔차 블록 및 상기 복수 개의 잔차 서브블록을 변환하여 변환 블록 및 복수 개의 변환 서브블록을 생성하는 변환기;
    상기 변환 블록에서 서브블록별 DC 계수를 분리하고, 상기 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 분리하는 계수 분리기;
    상기 변환 블록에서 분리된 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환기;
    상기 재변환된 DC 계수 블록을 양자화하고 상기 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 양자화기; 및
    상기 양자화된 DC 계수 블록 및 상기 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제 12 항에 있어서,
    상기 블록 인트라 예측 모드는 인트라 16x16 예측 모드에 포함된 복수 개의 인트라 예측 모드 중 하나이고, 상기 서브블록 인트라 예측 모드는 인트라 4x4 예측 모드에 포함된 복수 개의 인트라 예측 모드 중 하나인 것을 특징으로 하는 영상 부호화 장치.
  14. 제 12 항에 있어서,
    상기 블록 인트라 예측 모드와 상기 서브블록 인트라 예측 모드는 서로 다른 인트라 예측 모드인 것을 특징으로 하는 영상 부호화 장치.
  15. 제 12 항에 있어서, 상기 영상 부호화 장치는,
    상기 양자화된 DC 계수 블록을 역 양자화하며, 상기 양자화된 복수 개의 변환 서브블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기;
    상기 역 변환된 각 DC 계수를 상기 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기;
    상기 보정된 각 DC 계수를 상기 역 양자화된 복수 개의 변환 서브블록에 결합하는 계수 결합기;
    상기 각 DC 계수가 결합된 복수 개의 변환 서브블록을 역 변환하는 역 변환기; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 변환 서브블록을 가산하는 가산기
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 장치.
  16. 영상을 부호화하는 방법에 있어서,
    현재 블록을 블록 인트라 예측 모드로 예측하여 예측 블록을 생성하는 블록 예측 단계;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔차 블록을 생성하는 블록 감산 단계;
    상기 잔차 블록을 변환하여 변환 블록을 생성하는 블록 변환 단계;
    상기 변환 블록에서 서브블록별 DC 계수를 분리하는 DC 계수 분리 단계;
    상기 분리된 서브블록별 DC 계수가 결합된 DC 계수 블록을 재변환하는 DC 계수 변환 단계;
    상기 재변환된 DC 계수 블록을 양자화하는 DC 계수 블록 양자화 단계;
    상기 현재 블록이 분할된 복수 개의 서브블록을 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 서브를록 예측 단계;
    상기 복수 개의 서브블록과 상기 복수 개의 예측 서브블록을 감산하여 복수 개의 잔차 서브블록을 생성하는 서브블록 감산 단계;
    상기 복수 개의 잔차 서브블록을 변환하여 복수 개의 변환 서브블록을 생성 하는 서브블록 변환 단계;
    상기 복수 개의 변환 서브블록에서 서브블록별 DC 계수를 나머지 변환 계수와 분리하는 나머지 계수 분리 단계;
    상기 서브블록별 DC 계수가 분리된 복수 개의 변환 서브블록을 양자화하는 서브블록 양자화 단계; 및
    상기 양자화된 DC 계수 블록 및 상기 양자화된 복수 개의 변환 서브블록을 부호화하여 비트스트림을 출력하는 부호화 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화기;
    상기 복호화된 DC 계수 블록을 역 양자화하며, 상기 복호화된 복수 개의 서브블록을 역 양자화하는 역 양자화기;
    상기 역 양자화된 DC 계수 블록의 각 DC 계수를 역 변환하는 DC 계수 역 변환기;
    상기 역 변환된 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정기;
    상기 보정된 각 DC 계수를 상기 역 양자화된 복수 개의 서브블록에 결합하는 계수 결합기;
    상기 DC 계수가 결합된 복수 개의 서브블록을 역 변환하는 역 변환기;
    현재 블록이 분할된 복수 개의 서브블록을 상기 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측기; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 17 항에 있어서, 상기 비트스트림은,
    상기 서브블록 인트라 예측 모드에 대한 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  19. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 DC 계수 블록 및 부호화된 복수 개의 서브블록을 추출하여 복호화하는 복호화 단계;
    상기 복호화된 DC 계수 블록을 역 양자화하는 DC 계수 블록 역 양자화 단계;
    상기 역 양자화된 DC 계수 블록을 역 변환하는 DC 계수 블록 역 변환 단계;
    상기 역 변환된 DC 계수 블록의 각 DC 계수를 서브블록 인트라 예측 모드에 따른 예측 방향으로 보정하는 계수 보정 단계;
    상기 복호화된 복수 개의 서브블록을 역 양자화하는 서브블록 역 양자화 단계;
    상기 보정된 각 DC 계수가 결합된 상기 역 양자화된 복수 개의 서브블록을 역 변환하는 역 변환 단계;
    현재 블록이 분할된 복수 개의 서브블록을 상기 서브블록 인트라 예측 모드로 예측하여 복수 개의 예측 서브블록을 생성하는 예측 단계; 및
    상기 복수 개의 예측 서브블록과 상기 역 변환된 복수 개의 서브블록을 가산하여 현재 블록을 복원하는 가산 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR1020090011558A 2009-02-12 2009-02-12 영상 부호화/복호화 장치 및 방법 KR101418098B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090011558A KR101418098B1 (ko) 2009-02-12 2009-02-12 영상 부호화/복호화 장치 및 방법
PCT/KR2010/000715 WO2010093146A2 (ko) 2009-02-12 2010-02-05 영상 부호화/복호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090011558A KR101418098B1 (ko) 2009-02-12 2009-02-12 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100092268A KR20100092268A (ko) 2010-08-20
KR101418098B1 true KR101418098B1 (ko) 2014-07-14

Family

ID=42562163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090011558A KR101418098B1 (ko) 2009-02-12 2009-02-12 영상 부호화/복호화 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101418098B1 (ko)
WO (1) WO2010093146A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249346B1 (ko) * 2011-01-31 2013-04-01 국방과학연구소 적응적 양자화 계수 탐색을 이용한 영상 부호화/복호화 방법 및 장치, 상기 방법을 기록한 컴퓨터로 판독 가능한 기록매체
CN110809157B (zh) 2012-01-18 2023-05-02 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
KR101596085B1 (ko) * 2012-12-18 2016-02-19 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101911587B1 (ko) * 2015-08-03 2018-10-24 한양대학교 산학협력단 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
CN111108749A (zh) * 2018-09-25 2020-05-05 北京大学 编码方法、解码方法、编码设备和解码设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980025164A (ko) * 1996-09-30 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 그 방법
KR20070029849A (ko) * 2005-09-09 2007-03-15 삼성전자주식회사 영상 부호화/복호화 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060105352A (ko) * 2005-04-04 2006-10-11 삼성전자주식회사 인트라 예측 방법 및 그 장치
WO2007046644A1 (en) * 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
KR100882949B1 (ko) * 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980025164A (ko) * 1996-09-30 1998-07-06 김영환 영상정보 부호화/복호화 장치 및 그 방법
KR20070029849A (ko) * 2005-09-09 2007-03-15 삼성전자주식회사 영상 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
KR20100092268A (ko) 2010-08-20
WO2010093146A3 (ko) 2010-11-04
WO2010093146A2 (ko) 2010-08-19

Similar Documents

Publication Publication Date Title
KR101458471B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101772046B1 (ko) 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR101663764B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101673028B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101483179B1 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012096201A1 (ja) 画像処理装置および方法
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20150095232A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
KR20080082143A (ko) 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101418098B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101426271B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101713250B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101418095B1 (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
KR101449692B1 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR101608895B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101608888B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101608885B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101648910B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6