KR101538704B1 - 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 - Google Patents

보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 Download PDF

Info

Publication number
KR101538704B1
KR101538704B1 KR1020090006723A KR20090006723A KR101538704B1 KR 101538704 B1 KR101538704 B1 KR 101538704B1 KR 1020090006723 A KR1020090006723 A KR 1020090006723A KR 20090006723 A KR20090006723 A KR 20090006723A KR 101538704 B1 KR101538704 B1 KR 101538704B1
Authority
KR
South Korea
Prior art keywords
image block
block
interpolation filter
filter
prediction
Prior art date
Application number
KR1020090006723A
Other languages
English (en)
Other versions
KR20100087600A (ko
Inventor
조대성
최웅일
송관웅
주영훈
김용석
심동규
남정학
박시내
정광수
Original Assignee
삼성전자주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광운대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020090006723A priority Critical patent/KR101538704B1/ko
Priority to US13/146,764 priority patent/US8897360B2/en
Priority to PCT/KR2010/000506 priority patent/WO2010087620A2/ko
Publication of KR20100087600A publication Critical patent/KR20100087600A/ko
Application granted granted Critical
Publication of KR101538704B1 publication Critical patent/KR101538704B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 입력 영상의 특성을 고려한 보간 필터를 적응적으로 사용하여, 영상을 부호화 및 복호화하는 장치 및 방법을 제공한다.
이러한 본 발명은, 입력 영상 블록의 문맥정보를 고려하여 예측 블록을 생성하기 위한 보간 필터를 적응적으로 선택하는 선택기와, 상기 문맥정보에 대응하여 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크와, 상기 선택기의 제어에 따라 상기 필터 뱅크로부터 선택되어, 상기 입력 영상 블록과 관련된 참조 영상 블록을 보간하는 특정 보간 필터를 포함하는 예측 블록 생성부를 구비함을 특징으로 한다.
영상 부호화 및 복호화, 영상 블록의 문맥정보, 보간 필터, 화면내 부호화 모드, 화면간 부호화 모드

Description

보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치{METHOD AND APPARATUS FOR CODING AND DECODING USING ADAPTIVE INTERPOLATION FILTERS}
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 특히 입력 영상의 특성을 고려하여 적응적으로 보간 필터를 사용하여, 영상을 부호화 및 복호화하는 방법 및 장치에 관한 것이다.
최근 네트워크 환경에서의 멀티미디어 전송은 폭 넓게 이용되고 있는 실정이며, 그 중에서 비디오 영상은 멀티미디어 통신에서 많은 대역폭을 차지하고 있다. 이와 관련하여 보다 빠른 전송 속도를 가지고, 더 좋은 화질(Quality)을 가능하도록 하기 위한, 압축 기술들이 제안되고 있다.
비디오 영상 압축 표준 가운데 하나로 H.264/AVC(MPEG-4 Advanced video Coding)가 있다. 기존의 부호화 기술들, 일 예로 MPEG-1, MPEG-2, MPEG-4와 같이, H.264/AVC에서는 화면내(Intra) 부호화 모드와 화면간(Inter) 부호화 모드를 사용하여 고효율의 부호화를 제공하고자 한다.
화면내(Intra) 부호화 모드는, 하나의 영상 프레임내에서 공간적 상관도가 높음을 이용하여 부호화 하는 기술로써, 부호화할 현재 영상 블록의 이웃한 영상 블록들을 이용하여 예측 데이터를 생성한 후, 공간적인 중복성을 제거하는 기술이다. 반면에, 화면간(Inter) 부호화 모드는, 영상들간의 시간적 상관도가 높음을 이용하여 부호화하는 기술로써, 현재의 이전 혹은 이후 영상들을 이용하여 예측 데이터를 생성한 후, 시간적인 중복성을 제거하는 기술이다. 일반적으로, 화면간 부호화 방법은 예측 블록을 탐색하기 전에 보간 필터를 이용하여 정밀하게 예측 데이터를 생성한다.
그러나, 기존의 영상 보간 기술은, 입력 영상에 대한 특성의 고려 없이, 미리 정해진 하나의 보간 필터만을 사용하여 반복적인 보간을 수행하였다. 따라서, 다양한 영상들이 존재하는 최근의 멀티미디어 통신 환경에서, 다양하고 보다 정밀한 예측 데이터를 생성하지 못하는 즉, 입력 영상을 최적화하여 보간 처리하지 못하는 문제점이 존재한다. 또한, 고화질 및 대용량 영상들의 처리와 관련하여, 높은 연산 복잡도를 가지게 되는 문제점이 존재한다.
따라서, 고화질 및 대용량 영상들의 부호화를 위한 보다 간소화된 연산 복잡도를 가지는 보간 처리 방안이 필요한 실정이다. 특히, 다양한 영상 정보들을 포함하는 입력 영상을 위한 보다 정밀한 보간 처리 방안이 필요한 실정이다.
본 발명은 입력 영상의 특성을 반영한 보간 필터를 적용하여 영상을 부호화 및 복호화하는 방법 및 장치를 제공한다.
또한, 본 발명은 다수의 적응적 보간 필터 그룹에서 영상 블록의 문맥정보를 기반으로 보간 필터를 적응적으로 선택하여, 영상을 부호화 및 복호화하는 방법 및 장치를 제공한다.
또한, 본 발명은 화면간 영상 부호화 및 복호화 시, 영상 블록의 문맥정보를 기반으로 특정 보간 필터를 적응적으로 선택하여 예측 블록을 생성하는 방법 및 장치를 제공한다.
또한, 본 발명은 화면간 영상 부호화 및 복호화 시, 영상 블록의 문맥정보를 기반으로 보간 필터를 선택적으로 적용하여 예측 블록을 생성하고, 상기 예측 블록을 이용하여 영상을 부호화 및 복호화하는 방법 및 장치를 제공한다.
본 발명은, 영상을 부호화하는 장치에 있어서, 입력 영상 블록의 문맥정보를 고려하여 예측 블록을 생성하기 위한 보간 필터를 적응적으로 선택하는 선택기와, 상기 문맥정보에 대응하여 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크와, 상기 선택기의 제어에 따라 상기 필터 뱅크로부터 선택되어, 상기 입력 영상 블록과 관련된 참조 영상 블록을 보간하는 특정 보간 필터를 포함하는 예측 블록 생성부를 구비함을 특징으로 한다. 여기서, 상기 입력 영상 블록의 문맥정보는, 상 기 입력 영상 블록에서 시/공간상으로 인접한 매크로블록 또는 상기 입력 영상 블록에 관련된 정보를 의미하고, 상기 문맥정보로는, 상기 입력 영상 블록의 공간상 인접한 블록의 부호화 모드 정보 또는 양자화 값과, 시간상 인접한 블록에서 필터가 처리되는 픽셀의 위치 정보, 보간되는 픽셀의 해상도 정보 중에 적어도 하나를 포함한다.
또한, 본 발명은, 영상을 복호화하는 장치에 있어서, 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크와, 수신된 영상 블록의 부호화 모드 정보와, 양자화 값과, 픽셀 위치 정보와, 픽셀의 해상도 중 적어도 하나의 문맥정보를 고려하여 결정된 보간 필터 정보를 확인하여 상기 필터 뱅크로부터 선택된, 상기 수신된 영상 블록과 관련된 참조 영상 블록을 보간하는 특정 보간 필터를 포함하는 예측 블록 생성부를 구비함을 특징으로 한다. 여기서, 상기 수신된 영상 블록의 문맥정보는, 상기 수신된 입력 영상 블록에서 시/공간상으로 인접한 매크로블록 또는 상기 입력 영상 블록에 관련된 정보를 의미하고, 상기 문맥정보로는, 상기 입력 영상 블록의 공간상 인접한 블록의 부호화 모드 정보 또는 양자화 값과, 시간상 인접한 블록에서 필터가 처리되는 픽셀의 위치 정보, 보간되는 픽셀의 해상도 정보 중에 적어도 하나를 포함한다.
또한, 본 발명은, 영상을 부호화하는 방법에 있어서, 입력 영상 블록의 공간상 인접한 블록의 부호화 모드 정보 또는 양자화 값과, 시간상 인접한 블록에서 필터가 처리되는 픽셀의 위치 정보 또는 보간되는 픽셀의 해상도 정보 중에 적어도 하나의 정보를 고려하여, 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크 로부터 보간 필터를 적응적으로 선택하는 과정과, 상기 선택된 보간 필터를 이용하여 입력된 영상 블록과 관련된 참조 영상 블록을 보간하는 과정과, 상기 입력된 영상 블록과 상기 참조 영상 블록간의 에러 차가 최소가 되는 보간 필터를 상기 입력된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 결정하는 과정을 포함함을 특징으로 한다.
또한, 본 발명은, 영상을 복호화하는 방법에 있어서, 수신된 영상 블록의 공간상 인접한 블록의 부호화 모드 정보 또는 양자화 값과, 시간상 인접한 블록에서 필터가 처리되는 픽셀의 위치 정보 또는 보간되는 픽셀의 해상도 정보 중에서적어도 하나의 정보를 고려하여 결정된 보간 필터 정보를 확인하는 과정과, 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크로부터 상기 보간 필터 정보가 지시하는 보간 필터를 선택하는 과정과, 상기 보간 필터를 이용하여 상기 수신된 영상 블록과 관련된 참조 영상 블록을 보간하여 예측 블록을 생성하는 과정을 포함함을 특징으로 한다.
본 발명은, 입력되는 영상의 시/공간상으로 인접한 매크로블록 또는 상기 입력되는 영상 블록에 관련된 정보인 문맥정보를 반영하여, 예측 블록을 생성하기 위한 보간 필터를 적응적으로 선택한다. 특히, 상기 입력 영상 블록과 참조 영상 블록간의 화면간 예측 에러가 최소인 보간 필터를 선택적으로 사용하여 보다 정밀한 보간 처리를 제공한다. 즉, 본 발명은, 다수의 보간 필터 그룹들을 구비하며 영상 의 특성을 고려하여 적응적 보간 필터의 선택하여 사용함으로써, 시간적 중복성을 보다 쉽고 정밀하게 제거함으로써, 압축 성능을 향상시키는 장점을 제공한다. 또한, 보간 처리시 연산 복잡도를 간소화시키는 장점을 제공한다.
또한, 본 발명은 무선 채널 환경에서 적응적 보간 필터의 사용에 따른 제어정보의 오버헤드를 줄이는 방안을 제공한다. 따라서, 고화질 및 대용량 영상 데이터의 전송을 적극적으로 지원하며, 다양한 영상들에 대한 적응적이며 정확한 보간 처리를 지원한다.
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 바람직한 실시 예를 상세히 설명한다.
본 발명은 영상 슬라이스 타입 및 특정 영상 슬라이스를 구성하는 다수의 매 크로 블록들 각각의 특성들을 반영한 보간 필터를 선택하여 보간 처리를 수행하는 것을 특징으로 한다. 이러한 본 발명은, 입력 영상에 대한 문맥정보를 반영한 적응적 보간 필터를 이용하여 예측 블록을 생성함으로써, 보다 정밀한 보간 처리를 수행한다. 특히, 본 발명은 입력 영상에 대응하여 다수의 필터 그룹들 중 특정 보간 필터를 선택적으로 적용하여 영상을 부호화 및 복호화한다. 따라서, 본 발명은 고화질 및 대용량의 다양한 영상들에 대한 부호화 및 복호화 시, 영상 압축의 효율성을 증대시킨다.
본 발명에서 보간을 위한 필터 선택은, 영상 블록의 문맥정보들을 이용하여 다수의 필터 그룹들 중에서 특정 보간 필터를 적응적으로 선택한다. 그리고, 상기 선택된 보간 필터를 이용하여 반복적인 보간 처리를 수행한 후, 현재 영상과 참조 영상간의 에러를 최소로 예측하는 보간 필터를, 최적의 보간 필터로 선택함을 특징으로 한다. 여기서, 상기 입력 영상 블록의 문맥정보는, 상기 입력 영상 블록에서 시/공간상으로 인접한 매크로블록 또는 상기 입력 영상 블록에 관련된 정보를 의미하고, 상기 문맥정보로는, 상기 입력 영상 블록의 공간상 인접한 블록의 부호화 모드 정보 또는 양자화 값과, 시간상 인접한 블록에서 필터가 처리되는 픽셀의 위치 정보, 보간되는 픽셀의 해상도 정보 중에 적어도 하나를 포함한다.
도 1a 내지 도 1d는 본 발명에 적용되는 최적의 보간 필터를 선택하기 위한 영상 블록의 문맥정보 들의 일 예를 나타낸 도면이다.
우선, 도 1a는 영상 블록의 문맥정보로 공간상 인접한 매크로 블록의 부호화 모드 정보를 나타낸 도면이다. 도 1a를 참조하면, 하나의 영상 슬라이스(100)는 다 수의 픽셀들의 집합이다.
상기 영상 슬라이스(100)는 16x16 크기를 가지는 다수의 매크로 블록(Macro Block, 이하 'MB'라 칭함)들로 나누어질 수 있다. 여기서, MB는 영상 블록 즉, 정해진 크기의 픽셀들의 집합에 대한 부호화 처리 기본 단위를 의미한다. 본 발명에서는 설명의 용이를 위하여 영상 블록을 미리 정해진 크기의 MB로 인용하여 설명할 것이다. 또한, 본 발명에서 명시하지 않았으나, 입력되는 슬라이스의 영상 복잡도가 낮은 경우, 16x16 크기보다 더 큰 사이즈의 MB들, 일 예로, 32x32 크기 등의 MB로 나뉘어 질 수도 있다.
한편, MB는 정해진 크기에 대응하여 상이한 부호화 모드를 가지고 부호화될 수 있는데, 부호화 모드로는 표준화기구인 ITU-T SG16/Q6 VCEG(Video Coding Expert Group)에서 제정한 국제 표준인 H.264를 예를 들면 일정 블록 크기, 일 예로, 16x16, 8x8, 또는 4x4 단위로 공간상 인접한 픽셀로부터 픽셀을 예측하는 화면내(Intra) 부호화 모드와, 일정 블록 크기 일 예로, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 또는 4x4 단위로 시간상 움직임 예측하는 화면간(Inter) 부호화 모드가 있다.
도 1a를 참조하면, MB(110)는 16x16 단위의 화면간(Inter) 부호화 모드(즉, A 타입)가 적용되는 것을 도시한 것이고, MB(112)는 4x4 단위의 화면내(Intra) 부호화 모드(즉, B 타입)가 적용되는 것을 도시한 것이다. 따라서, 본 발명에서는 현재 부호화할 MB(111)의 설정된 부호화 모드를 고려하여, 보간 필터를 적응적으로 선택하여 보간 처리를 수행한다.
도 1b는 영상 블록의 문맥정보로 양자화 값을 나타낸 도면이다.
우선, 양자화에 대하여 간략하게 설명하고자 한다. 정해진 크기의 MB는, 한정된 무선 자원을 보다 효율적으로 사용하고자 양자화를 통해 전송되는데, 보다 구체적으로, 특정 영상 블록에 대한 주파수 변환기(DCT: Discrete Cosine Transform)로부터 출력되는 스펙트럼 데이터는, 양자화 파라미터(Quantization Parameter, 이하 'QP'라 칭함)에 의해 일정한 스칼라 값으로 매핑되어 전달된다. 왜냐하면, 스펙트럼 데이터를 무선 자원을 통해 직접 전송하는 것보다 매핑된 스칼라 값을 전송함으로써, 한정된 무선 자원을 보다 효율적으로 사용할 수 있기 때문이다.
일 예로, 전송하고자 하는 영상블록에 대하여 QP 값을 10으로 적용한다고 가정하고, 스펙트럼 데이터가 0-9, 10-19, 20-29, …, 91-100 범위 가지는 경우, 0-9범위 내의 스펙트럼 데이터는 '0'로, 10-19범위 내의 스펙트럼 데이터는 '1' 스칼라 값으로 매핑된다. 따라서, 송신측인 부호화 장치에서는 상기 0 또는 1 스칼라 값을 전송하고, 수신측인 복호화 장치에서는 상기 0 또는 1 스칼라 값을 수신하고, 역양자화하여 해당 영상 블록을 복원하게 된다. 그러나, 상기 복호화 장치에서 복호화를 수행하는 경우, 상기 0 스칼라 값은, 실제 0-9범위의 스펙트럼 데이터임에도 불구하고, 스펙트럼 데이터 0으로 복원될 수 있다. 그러므로, 실제 전송된 영상 블록과 수신측에서 보간된 영상 블록 간에 데이터 손실이 커지게 되는 문제점이 존재할 수 있다.
다시 설명하면, 한정된 무선 자원을 사용하는 측면에서 QP 값이 커질수록 데이터 전송에 따른 비트 레이트가 작아지는 장점을 가지나, 영상 블록의 복원시 데이터 손실이 커지는 단점이 발생하게 된다. 한편, QP 값이 작아질수록 데이터 전송 에 따른 비트 레이트가 커지는 단점을 가지나, 전송된 영상 블록과 수신측에서 보간된 영상 블록 간의 품질 변화가 적은 장점을 가진다. 따라서, 비트 레이트의 효율과, 데이터 손실을 고려한 적절한 QP 값 설정은 인코딩 측면에서 중요하다.
도 1b를 참조하면, MB(120)는 양자화 파라미터 A 타입(일 예로, QP-10)을 적용한 것이고, MB(122)은 양자화 파라미터 C 타입(일 예로, QP-5)을 적용한 것을 도시한 것이다.
따라서, 본 발명은 MB 별 QP값을 고려하여, 예측 블록을 생성하기 위한 보간 필터를 적응적으로 선택하여 보간을 수행한다. 그리고, 상기 적응적으로 선택한 보간 필터들 각각에 대한 보간 처리 결과를 참조하여, 현재 영상 블록과 참조 영상 블록간의 에러 차가 최소인 보간 필터를 최적의 보간 필터로 선택한다. 한편, 주파수 변환기(DCT)와 관련하여 직교 변환 계수가 있는지의 여부 또는 디지털 변환(DC), 아날로그 변환(AC)의 분포를 고려하여 보간 필터가 다르게 선택될 수도 있다.
도 1c는 영상 블록의 문맥정보로 이전 영상의 보간시 필터가 적용되는 픽셀의 위치 정보를 나타낸 도면이다.
도 1c를 참조하면, 참조 번호 130 및 140은 각각 이전 영상내의 인접하는 두 매크로 블록을 도시한 것이다. 일 예로, 상이한 시간적 상관도를 가지는 두 개의 매크로 블록들(130, 140)이 존재한다고 가정하는 경우, 부호화할 특정 MB가 매크로 블록(130)내의 A영역(131)에 위치하는지, 아니면 두 개의 매크로 블록들(130,140)의 경계인 B 영역(135)에 위치하는지 확인한다. 상기 B 영역(135)을 위한 보간 필 터는, 상기 A 영역(130)에 적용되는 보간 필터보다 더 큰 강도의 보간 처리가 필요한 필터일 수 있다. 따라서, 본 발명은 보간 필터가 적용될 즉, 보간 처리할 MB의 픽셀의 위치 정보를 고려하여 보간 처리를 수행한다.
도 1d는 영상 블록 문맥정보로 보간되는 픽셀의 해상도를 나타낸 도면이다.
도 1d를 참조하면, 수평 방향의 픽셀들간에 그리고, 수직 방향의 픽셀들간에 정수 픽셀 값(150, 160, 170, 180) 값에 대해 1/2 해상도 픽셀 값(155)이 보간되는지, 또는 1/N 해상도 픽셀 값이 보간되는지를 고려하여 보간 필터를 다르게 선택할 수 있다.
추가적으로, 영상 블록의 문맥정보로 MB 에지 정보를 더 포함할 수 있다. 즉, 영상 블록에 에지 정보가 존재하는지 또는 에지 정보가 존재하지 않는지를 고려하여 상이한 보간 필터를 적용할 수 있다. 그리고, 이때, 에지 정보가 어떤 방향성을 고려하여 보간 필터를 적용한다. 일 예로, 에지가 수평 방향인지 또는 수직 방향인지 아니면 대각선 방향인지를 고려하여 상이한 보간 처리를 위한 보간 필터의 사용이 필요하다.
도 2는 본 발명에 따라 다양한 필터들을 구비한 다수의 필터 그룹들의 구조를 나타낸 도면이다.
도 2를 참조하면, 필터 그룹들은 입력되는 영상 슬라이스의 특성을 고려하거나, 또는 하나의 슬라이스를 구성하는 다수의 MB들 중 MB별 부호화 모드 정보, QP 값, 픽셀의 위치 정보, 해상도 등을 가지고 구별된다. 상기 각각의 필터 그룹은 추가적으로 해당 MB블록의 에지 정보에 의해 그룹핑될 수 있다.
일 예로, 제 1 필터 그룹(210)은, 입력 영상에 대하여 16x16 단위로 부호화 모드 정보를 적용하는 경우, QP 값을 고려하여 내림차순 또는 오름차순으로 정리한 보간 필터들을 도시한 것이다. 이때, 상기 제 1 필터 그룹은, 픽셀의 위치 정보를 고려하여 내림차순 또는 오름차순으로 정렬된 보간 필터들을 포함할 수 있다. 또한, 해상도를 반영하여 정렬된 필터들일 수 있다.
제 2 필터 그룹(220)은, 입력 영상에 대하여 8x8 단위로 부호화 모드 정보를 적용하는 경우, QP 값, 픽셀의 위치 정보와, 해상도 중 적어도 하나 이상의 문맥정보들을 고려하여 정해진 순서를 가지고 정렬된 필터들을 포함한다.
제 N 필터 그룹(230)은, 입력 영상에 대하여 4x4 단위로 부호화 모드 정보를 적용하는 경우, QP 값, 픽셀의 위치 정보와, 해상도 중 적어도 하나 이상의 문맥정보들을 고려하여 정해진 순서를 가지고 정렬된 필터들을 포함한다.
따라서, 보간 처리부는, 상기 다수의 필터 그룹들 중에서, 부호화될 입력 영상의 문맥정보들을 고려하여 최적의 보간 필터를 적응적으로 선택한다. 즉, 현재 부호화할 영상 블록과 참조 영상블록과의 에러 차를 최소로 만드는 보간 필터를 최적의 보간 필터로 최종적으로 선택하게 된다.
이때, 최적의 보간 필터의 선택은, 이전에 영상 블록의 부호화시 사용되었던 필터를 직접적으로 이용하거나, 차분 값을 이용하여 입력되는 영상 블록을 위해서 다수의 적응적 보간 필터 그룹 중 가장 유사한 필터를 이용할 수 있다. 또한, 최종적으로 선택된 보간 필터는 부호화기 및 복호화기 양쪽의 다수의 적응적 보간 필터 그룹에 추가 혹은 업데이트 될 수 있다.
도 3a 내지 3d는 본 발명에 따라 보간 필터 정보를 포함하는 슬라이스 구조를 도시한 도면이다.
도 3a를 참조하면, 참조번호 300은 본 발명의 제 1 실시 예에 따라 보간 필터 정보를 포함하는 슬라이스 구조를 나타낸 것이다. 슬라이스(300)는 슬라이스 헤더(302)와 슬라이스 데이터(304), 두 파트로 구성된다. 우선, 슬라이스 헤더(302)는 슬라이스의 타입 정보와 순서 정보 등을 포함할 수 있다. 슬라이스 데이터(304)는, 해당 슬라이스의 영상 데이터들을 포함할 수 있다.
본 발명의 제 1 실시 예에 따라 슬라이스 헤더(302)는 상기 슬라이스를 구성하는 다수의 MB들의 부호화 모드 정보, QP 값, 픽셀의 위치 정보 및 해상도 등의 문맥정보를 고려하여 선택된 보간 필터 정보를 더 포함한다. 여기서, 보간 필터 정보는, 초기값(default)으로 설정된 보간 필터와 선택된 보간 필터간의 차분된 필터 계수 값 또는 상기 선택된 필터가 속하는 필터 그룹의 인덱스 번호를 더 포함할 수 있다. 또는 이전의 예측 블록을 생성하기 위해 사용된 필터와 현재 입력된 MB을 위해 선택된 보간 필터간의 차분된 필터의 계수 값을 포함할 수 있다.
도 3b를 참조하면, 참조번호 320은 본 발명의 제 2 실시 예에 따라 보간 필터 정보를 포함하는 슬라이스 구조를 나타낸 것이다. 슬라이스(320)는 슬라이스 헤더(322)와 슬라이스 데이터로 다수의 MB(324, 326, 328)들을 포함할 수 있다. 우선, 슬라이스 헤더(322)는 슬라이스의 타입 정보와 순서 정보 등을 포함할 수 있다. 반면에, 다수의 MB (324, 326, 328)들 각각은, 부호화 모드 정보, QP 값, 위치 정보 및 해상도 등을 고려하여 선택된 자신의 MB별(324, 326, 328) 보간 필터 정 보(334, 336, 338)를 더 포함한다.
도 3c를 참조하면, 참조번호 340은 본 발명의 제 3 실시 예에 따라 보간 필터가 새롭게 선택됨을 나타내는 플래그 정보를 포함하는 슬라이스 구조를 나타낸 것이다. 슬라이스(340)는 슬라이스 헤더(342)와 슬라이스 데이터(344), 두 파트로 구성된다.
우선, 슬라이스 헤더(342)는 슬라이스의 타입 정보, 순서 정보와, 상기 슬라이스를 구성하는 다수의 MB들의 부호화 모드 정보, QP 값, 위치 정보 및 해상도 등의 문맥정보를 고려하여 보간 필터가 새로 선택되어 사용됨을 나타내는 플래그 정보(352)와, 선택된 보간 필터 정보(354)를 더 포함한다. 슬라이스 데이터(344)는, 해당 슬라이스의 영상 데이터들을 포함할 수 있다.
일 예로, 초기값(Default)으로 설정된 보간 필터를 사용하는 경우, 상기 플래그 정보(352)를 '0'로 설정하고, 현재 입력된 영상 블록과 관련하여 새로운 보간 필터가 사용된 경우, 플래그 정보를 '1'로 설정한다.
도 3d를 참조하면, 참조번호 360은 본 발명의 제 4 실시 예에 따라 보간 필터 정보를 포함하는 슬라이스 구조를 나타낸 것이다. 슬라이스(360)는 슬라이스 헤더(362)와 슬라이스 데이터로 다수의 MB(364, 366, 368)들을 포함할 수 있다. 우선, 슬라이스 헤더(362)는 슬라이스의 타입 정보와 순서 정보 등을 포함할 수 있다. 반면에, 다수의 MB (364, 366, 368)들 각각은, 다수의 MB들의 부호화 모드 정보, QP 값, 위치 정보 및 해상도 등의 문맥정보를 고려하여 보간 필터가 새로 선택되어 사용됨을 나타내는 플래그 정보(374,376,378)와, 선택된 MB별 보간 필터 정 보(384,386,388)를 더 포함한다. 여기서, 플래그 정보(374,376,378)는 도 3c의 일 예를 적용하여 설정 가능하다.
도 4는 본 발명에 따라 적응적 보간 필터 그룹들 중에서 특정 보간 필터를 적응적으로 선택하는 동작을 도시한 흐름도이다.
도 4을 참조하면, 영상이 입력되면, 단계 410에서 보간 처리부는 우선적으로 초기값(default)으로 설정되어 있는 보간 필터를 이용하여, 참조 영상 블록에 대한 보간 처리를 수행한다. 이때, 현재 영상 블록 및 참조 영상 블록에 대한 보간 처리는 미리 정해진 크기의 MB 단위로 수행된다.
단계 415에서 보간 처리부는, 상기 입력된 영상 블록에 대한 부호화 모드 정보, QP 값, 위치 정보 및 해상도 등을 포함하는 문맥정보들을 확인한다.
단계 420에서 보간 처리부는, 상기 영상 블록의 MB의 크기 및 부호화 모드 정보, MB의 QP 값, 부호화될 픽셀의 위치 정보, 영상 블록의 해상도 및 에지 정보를 고려하여, 다수의 필터 그룹들 중에서 보간 필터를 선택한다. 상기 선택된 보간 필터를 이용하여 입력된 영상 블록에 대한 보간 처리를 수행한다. 이때, 이전의 입력된 영상 블록을 위해 사용된 보간 필터를 우선적으로 선택하여 보간을 수행할 수 있다. 왜냐하면, 하나의 영상 슬라이스내에서 부호화 할 영상 블록과, 상기 영상 블록에 근접한 이웃 영상 블록들은 시간적 상관도 및 공간적 상관도가 높기 때문이다.
단계 425에서 보간 처리부는, 상기 선택된 보간 필터를 이용하여 현재 영상 블록과 상기 참조 영상 블록간의 에러 차를 확인한다. 상기 단계 420에서 선택된 보간 필터를 적용하여 보간 처리한 결과, 최소의 에러 차를 가짐을 확인하면, 단계 430으로 진행하여 상기 선택된 보간 필터를 최적의 보간 필터로 결정한다. 반면에 확인된 에러 차가 최소의 에러 차가 아니면 단계 420으로 진행하여 입력된 영상 블록에 대한 상이한 보간 필터를 선택한다. 즉, 다수의 필터 그룹 중에서 특정 보간 필터를 적응적으로 선택하여 참조 영상 블록과 현재 영상간의 에러가 최소가 될 때까지, 상기 보간 처리 동작을 반복적으로 수행한다.
도 5는 본 발명에 따른 영상 부호화 장치의 구성을 나타내는 도면이다.
도 5을 참조하면, 영상 부호화 장치는 예측 블록 생성부(505), 영상 블록 생성부(510), 차분 영상 블록 부호화부(520), 차분 영상 블록 복호화부(550), 영상 블록 복원화부(560) 그리고 참조 영상 블록 데이터 생성부(580)를 포함한다.
우선, 입력 영상(500)은 슬라이스 타입에 따라 구별된 I-슬라이스, P-슬라이스, B-슬라이스 중에서 하나의 영상을 입력한다. 입력된 슬라이스는 16x16, 16x8,… 4x4 등 정해진 영상 처리 블록 단위인 MB로 처리된다.
영상 블록 생성부(510)는 정해진 MB 사이즈로 입력되는 영상 블록과, 예측 블록 생성부(505)로부터 출력되는 상기 현재 영상 블록과의 영상간의 에러가 최소인 예측 블록을 결합하여 차분 영상 블록을 생성한다. 여기서, 예측 블록 생성부(505)는, 간략하게 차분 영상 블록 부호화부(520)를 통해 부호화하고 차분 영상 복호화부(550)를 통해 복호화 된 참조 영상 블록을, 화면내 부호화 모드 또는 화면간 부호화 모드 중 부호화 효율이 높은 모드를 적용하여 예측 블록을 생성하고, 생성된 예측 블록을 출력한다. 따라서, 영상 블록 생성부(510)는 예측 블록 생성 부(505)로부터 출력된 예측 블록을 이용하여 보다 정밀한 부호화를 수행한다.
차분 영상 블록 부호화부(520)는 주파수 변환기(522), 양자화기(524), 엔트로피 코더기(526)를 포함한다.
주파수 변환기(522)는 공간 도메인의 입력된 영상 블록의 픽셀(화소)의 정보를 주파수 도메인의 스펙트럼 데이터로 변환한다. 이때, 주파수 변환기(522)는 통상 이산 코사인 변환(DCT: Discrete Cosine Transform)을 수행하며, MB 단위별로 DCT 계수 블록을 생성한다.
양자화기(524)는 상기 주파수 변환기(522)에서 출력되는 스펙트럼 데이터 계수의 블록을 양자화한다. 이때 양자화기(524)는 입력되는 영상의 슬라이스 타입을 고려하여 가변되는 스텝-크기로 상기 스펙트럼 데이터에 대하여 일정한 스칼라 값을 적용하여 양자화를 수행할 수 있다. 본 발명에서 양자화기(524)는 상기 영상의 슬라이스 타입 및 상기 영상을 구성하는 MB별 특성을 고려하여 가변되는 스텝-크기로 상기 스펙트럼 데이터에 대하여 QP 값을 적용하여 양자화할 수 있다. 이때, 양자화기(524)는 현재의 무선 채널 환경을 고려하여 압축할 타겟 비트 레이트 또는 고정된 부호화기의 비트 레이트를 고려하여 상기 QP 값을 가변적으로 적용한다.
엔트로피 코더기(526)는 상기 영상의 슬라이스 타입 및 MB의 문맥 정보 정보들을 비롯하여, 양자화기(524)로부터 출력되는 정보들을 압축한다. 특히, 엔트로피 코더기(526)는 본 발명에 따라 예측 블록 생성부(505)에서 예측 블록 생성을 위해 선택된 보간 필터 정보를 더 포함하여 출력한다. 여기서, 상기 보간 필터 정보는, 초기값(default)으로 설정된 보간 필터와 상기 예측 블록 생성을 위해 선택된 보간 필터간의 차분된 필터의 계수 값 또는 상기 선택된 보간 필터가 속하는 필터 그룹의 인덱스 번호를 포함할 수 있다. 또는 이전의 예측 영상을 위해 사용된 필터와 현재 입력된 영상 블록을 위해 선택된 필터간의 차분된 필터의 계수 값을 포함할 수도 있다.
엔트로피 코더기(526)는 산코딩, 허프만 코딩, 런 랭스(run-length) 코딩 등에 의해 구현 가능하다. 엔트로피 코더기(526)는 압축된 영상 정보를 설정된 비트 레이트에 따라 코딩한 후, 출력한다.
차분 영상 블록 복호화부(550)는, 차분 영상 블록 부호화부(520)에 의해 생성된 차분 영상 블록에 대하여 복호화를 수행하여 역 차분 영상 블록을 생성하도록 한다. 이러한 차분 영상 블록 복호화부(550)는, 역양자화기(554)와, 역주파수 변환기(552)를 포함한다.
역양자화기(554)는 양자화기(524)의 QP 값에 의해 양자화된 스텝-크기를 이용하여 역양자화를 수행한다. 역주파수 변환기(552)는 주파수 변환기(522)의 동작을 역으로 수행하는 것으로, 역 DCT 변환을 통해 역 차분 영상 블록을 생성한다. 이때, 역주파수 변환기(552)로부터 출력된 역 차분 영상 블록과 차분 영상 블록 생성부(510)에서 생성된 차분 영상 블록간에는, 양자화 및 역양자화 과정에 적용된 QP 값에 대응하여 데이터 손실을 가질 수 있다. 따라서, 입력되는 영상 블록의 영상 특성을 고려하여 적응적인 QP 값의 적용이 필요하다.
영상 블록 복원화부(560)는 역 차분 영상 블록과, 상기 차분 영상 블록 생성부(510)에서 생성된 차분 영상 블록을 비교하여 보다 정밀한 참조 영상 블록을 생 성한다.
참조 영상 데이터 생성부(580)는 프레임 저장부(584)와, 필터(582)를 포함한다. 상기 필터(582)는, 영상 블록 복원화부(560)로부터 출력되는 생성된 참조 영상 블록들 중에서, 왜곡된 참조 영상 블록을 필터링한다. 왜냐하면, 상기 재구성된 참조 영상 블록은, 원래의 입력 영상 블록에 대하여 왜곡이 존재하는 영상 데이터이기 때문이다. 프레임 저장부(584)는 다음 프레임을 예측하기 위해 상기 재구성된 영상 블록들을 저장하는 것으로, 상기 필터(582)의 의해 불연속성이 제거된 참조 영상 블록들을 저장한다. 상기 참조 영상 블록들은 다음 입력된 영상 블록을 위해 적용되는 재구성 영상 블록들이다.
본 발명에 따라, 예측 블록 생성부(505)는, 부호화될 영상 블록이 입력되면, 현재 영상 블록의 특성을 고려하여 화면내(Intra) 부호화를 수행하여 예측 블록을 생성할 것인지 또는 화면간(Inter) 부호화를 수행하여 예측 블록을 생성할 것인지를 판단한다. 이러한 예측 블록 생성부(505)는, 화면간(Inter) 예측 블록 생성부와, 화면내(Intra) 예측 블록 생성부를 포함한다.
여기서, 화면간(Inter) 예측 블록 생성부는, 적응적 보간 필터(536)와, 필터 뱅크(532)와 필터 선택기(534)를 포함하는 참조 영상 보간 처리부(530)와, 모션 예측부(540)와, 모션 보상부(545)를 포함한다. 반면에, 화면내(Intra) 예측 블록 생성부는, 화면내 예측 선택기(575)와, 화면내 예측부(570)를 포함한다.
우선, 화면간(Inter) 부호화를 수행하는 경우, 부호화할 영상 블록이 입력되면 참조 영상 보간 처리부(530)의 필터 선택기(534)는 상기 영상 블록의 문맥정보, 일 예로, MB의 크기 정보 및 상기 크기 정보에 대응하여 해당 MB의 부호화 모드 정보와, 보간 처리될 MB의 특정 픽셀의 위치 정보와, 보간 후 생성되는 픽셀들의 해상도 및 영상 블록이 갖는 에지 정보를 고려하여, 필터 뱅크(532)에 구비된 다수의 필터 그룹들 중 적응적 보간 필터(536)를 선택한다. 선택된 적응적 보간 필터(536)는 프레임 저장부(584)로부터 추출된, 상기 입력된 영상 블록과의 시간적 상관도 및 공간적 상관도가 최소인 참조 영상 블록에 대하여 보간 처리를 수행한다. 이때, 보간 처리된 참조 영상 블록과 부호화를 수행한 현재 영상간의 에러가 최소가 될 때까지, 상기 보간 동작을 반복적으로 수행한다.
모션예측부(540)는 상기 보간 처리된 참조 영상 블록과 상기 입력된 영상 블록을 이용하여 모션 추정한다. 모션보상부(545)는 MB별로 정해진 모션 벡터를 적용하여 보상을 수행한 후, 최종적으로 화면간 예측 블록을 생성한다.
다시 설명하여, 참조 영상 보간 처리부(530)는, 입력되는 영상 블록 및 참조 영상 블록의 문맥 정보를 반영하여 영상의 특성이 고려된 최적의 적응적 보간 필터(536)를 선택하고, 반복적인 보간 처리를 통해, 에러 차가 최소인 보간 필터를 이용하여 화면간 예측 블록을 생성한다. 이때, 사용된 보간 필터 정보를 확인하고, 수신기로 하여금 복호화시 동일한 보간 필터를 사용하여 복호를 수행하도록 상기 보간 필터 정보를 전송하도록 한다. 또한, 상기 참조 영상 블록에 대한 반복적인 보간 처리를 수행하는 이유는, 참조 영상 블록의 픽셀 보상을 보다 정밀하게 하여, 보다 정밀한 예측 블록을 생성하기 위함이다.
한편, 상기 참조 영상 보간 처리부(530)는 영상 블록의 문맥정보를 이용하지 않고 이전의 영상 블록을 위해 사용된 적응적인 보간 필터 정보를 이용하여 보간을 수행하고, 이를 부호화하여 전송할 수 있다. 또한, 초기값으로 설정된 보간 필터 또는 이전 영상 블록을 위해 선택된 보간 필터와 현재 입력 영상 블록을 위해 사용된 보간 필터간의 차분된 필터 계수 값만을 부호화하여 전송할 수 있다.
한편, 화면내(Intra) 부화화를 수행하는 경우, 화면내 예측 선택기(575)는 입력된 영상 블록과 관련하여 공간적 상관도가 높은 참조 영상 블록을 프레임 저장부(584)로부터 선택하여 출력한다. 화면내 예측부(570)는 추출된 참조 영상 블록에 대하여 정해진 부호화 모드를 적용하여 화면내 부호화를 수행한 후, 화면내 예측 블록을 출력한다.
따라서, 예측 블록 생성부(505)는, 상기 화면간(Inter) 예측 블록 생성부로부터 출력되는 화면간 예측 블록과 상기 화면내(Intra) 예측 블록 생성부로부터 출력되는 화면내 예측 블록을 비교하여, 부호화 효율이 좋은 즉, 현재 영상 블록과의 에러 차이가 작은 예측 블록을 최종 예측 블록으로 선택하여 출력한다.
도 6은 본 발명의 실시 예에 따라 영상 부호화를 수행하는 동작을 나타내는 흐름도이다.
도 6을 참조하면, 단계 600에서 입력부는 영상 블록을 입력한다.
단계 610에서 예측 블록 생성부는, 현재 입력된 영상 블록에 대한 문맥정보들을 반영하여 적응적으로 보간 필터를 선택한다. 단계 620에서 예측 블록 생성부는, 상기 선택된 보간 필터를 이용하여 반복적으로 보간 처리를 수행하고, 상기 현재 영상 블록과의 에러가 최소인 보간 필터를 최종적으로 이용하여 화면간 예측 블 록을 생성한다.
한편, 예측 블록 생성부는 단계 630에서 화면내 부호화 모드를 이용하여 화면내 예측 블록을 생성한다. 즉, 입력된 현재 영상 블록과 관련하여 공간적 상관도가 제일 높을, 이전에 부호화를 거쳐 복호화되어 저장되어 있는 참조 영상 블록에, 최적의 화면내 부호화 모드를 적용하여 화면내 예측 블록을 생성한다. 여기서, 상기 예측 블록 생성부는, 현재 입력된 영상 블록과 공간적으로 수평방향 또는 수직방향으로 모션 벡터가 적용된 예측 블록을 생성할 수 있다. 즉, 입력된 현재 영상 블록에 대하여, 이전에 부호화를 거쳐 복호화되어 저장되어 있는 참조 영상 블록을 이용하여 화면내 예측 블록을 생성한다.
단계 640에서 예측 블록 생성부는, 화면내 예측 블록과 화면간 예측 블록을 비교하여, 부호화 효율이 더 높은 부호화 모드의 최종 예측 블록을 선택한다. 그리고, 선택된 예측 블록의 부호화 모드를 상기 입력 영상 블록에 대한 부호화 모드로 결정한다.
그리고, 단계 650에서 차분 영상 블록 생성부는 상기 예측 블록 생성부로부터 생성된 예측 블록과 현재 영상 블록과의 차분 영상 블록을 생성한다. 구체적으로, 차분 영상 블록은 입력된 현재 영상 블록과 상기 예측 블록 생성부에서 화면내 또는 화면간 부호화 모드 중 결정된 모드를 기준으로 생성된 예측 블록의 에러 차에 해당하는 잔차 신호로 이루어진 영상 블록을 의미한다.
단계 660에서 차분 영상 블록 부호화부는, 차분 영상 블록에 대하여 코딩을 수행한다. 이때, 코딩된 차분 영상 블록에 대한 비트 스트림은 수신측으로 전송된 다. 여기서, 상기 비트 스트림은, 본 발명에 따라 화면간 부호화 모드에 따라 적응적으로 사용된 보간 필터에 대한 정보를 더 포함한다.
단계 670에서 차분 영상 복호화부는, 부호화 된 차분 영상 블록에 대하여 복호화를 수행한다. 이는 상기 차분 영상 블록을 재구성하여 다음 입력될 영상 블록에 대한 참조 영상 블록을 생성한다. 그리고, 참조 영상을 별도의 저장부에 저장한다.
단계 670에서 예측 블록 생성부는, 복원된 영상 블록이 현재 입력된 슬라이스 중 마지막 영상 블록인지를 확인한다. 확인 결과에 따라, 단계 600 내지 670의 과정을 반복하거나, 또는 종료한다.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타내는 도면이다.
도 7을 참조하면, 영상 복호화 장치는 영상 블록 복호화부(700)와, 영상 블록 복원화부(710)와, 예측 블록 생성부(705)와, 참조 영상 블록 데이터 생성부(780)를 포함한다.
영상 블록 복호화부(700)는 엔트로피 디코더기(702)와, 역양자화기(704)와, 역주파수 변환기(706)를 포함한다.
엔트로피 디코더기(702)는 전송된 비트 스트림으로부터 영상 블록의 정보들을 획득한다. 본 발명에 따라 상기 영상 블록의 정보에는 송신측에서의 예측 블록 생성을 위해 선택된 보간 필터에 대한 정보를 더 포함하고 있다.
상기 보간 필터 정보는, 초기값(default)으로 설정된 필터와 상기 예측 블록 생성을 위해 선택된 필터간의 차분된 필터의 계수 값과 또는 상기 선택된 필터가 속하는 필터 그룹의 인덱스 번호를 포함할 수 있다. 또는 이전의 예측 영상을 위해 사용된 필터와 현재 입력된 영상 블록을 위해 선택된 필터간의 차분된 필터의 계수 값을 포함할 수도 있다. 또한, 초기값으로 설정된 필터 또는 선택된 필터의 사용 여부를 지시하는 플래그 정보를 더 포함할 수 있다.
또한, 엔트로피 디코더기(702)는 상기 압축된 영상 블록에 대한 문맥정보, 상기 영상 블록의 MB 크기 정보 및 부호화 모드 정보, MB의 QP 값, 부호화할 MB의 픽셀에 대한 위치 정보, 영상의 해상도 및 에지 정보를 획득한다.
역양자화기(704)는 상기 QP 값에 의해 양자화된 스텝-크기를 이용하여 역양자화를 수행한다. 역주파수 변환기(706)는 영상 블록 데이터를 역 DCT 변환을 통해 스펙트럼 데이터로 변환한다. 이때, 영상 블록 부호화부(700)에 의해 복호화된 영상 블록 데이터는 차분 영상 블록 데이터이다.
예측 블록 생성부(705)는 복호화 된 차분 영상 블록 데이터에 대하여 예측 블록을 생성한다. 특히, 예측 블록 생성부(705)는 전달된 보간 필터 정보를 확인하여, 상기 차분 영상 블록 데이터가 화면간 부호화 모드로 부호화된 데이터인지 또는 화면내 부호화 모드로 부호화된 데이터인지를 확인한다.
상기 차분 영상 블록 데이터에 대한 예측 블록 생성 모드가 화면간 부호화 모드로 부호화 됨을 확인하면, 참조 영상 보간 처리부(730)는 수신된 보간 필터 정보를 이용하여, 필터 뱅크(732)에 구비된 다수의 필터 그룹들 중 특정 보간 필터(736)를 선택한다. 선택된 보간 필터(736)는 프레임 저장부(784)로부터 추출된, 상기 입력된 영상 블록과의 시간적 상관도 및 공간적 상관도가 최소인 참조 영상 블록에 대하여 보간 처리를 수행한다. 이때, 보간 처리된 참조 영상 블록과 부호화를 수행한 현재 영상간의 에러가 최소가 될 때까지, 상기 보간 동작을 반복적으로 수행한다. 즉, 상기 선택된 필터를 통해 보간된 영상 블록을 이용하여 화면간 예측 블록을 생성하여 출력한다.
여기서, 상기 보간 필터 정보는, 초기값(default)으로 설정된 필터와 상기 예측 블록 생성을 위해 선택된 필터간의 차분된 필터의 계수 값 또는 상기 선택된 필터가 속하는 필터 그룹의 인덱스 번호를 포함할 수 있다. 또는 이전의 예측 영상을 위해 사용된 필터와 현재 입력된 영상 블록을 위해 선택된 필터간의 차분된 필터의 계수 값을 포함할 수도 있다. 따라서, 차분된 필터의 계수 값을 이용하여 이전 영상 블록을 위해 필터에 계수 값을 적용하여 현재 영상을 위한 필터를 선택한다.
한편, 상기 차분 영상 블록 데이터에 대한 예측 블록 생성 모드가 화면내 부호화 모드로 부호화 됨을 확인하면, 화면내 예측 블록 생성부(770)는 프레임 저장부(784)로부터 추출된 참조 영상 블록에 대하여 정해진 부호화 모드를 적용하여 화면내 예측 블록을 생성하여 출력한다.
영상 블록 복원화부(710)는 상기 영상 블록 복호화부(700)에 의해 복호화 된 차분 영상 블록 데이터와 상기 예측 블록 생성부(705)로부터 생성된 예측 블록의 가산을 통하여 영상 블록을 복원한다.
참조 영상 블록 데이터 생성부(780)는, 상기 복원된 영상 블록 중에서 필터(782)를 통해 필터링된 영상 블록을, 다음 번의 입력 영상을 예측하기 위해 상기 재구성된 참조 영상 블록들으로 프레임 저장부(784)에 저장한다.
도 8은 본 발명의 실시 예에 따라 영상 복호화를 수행하는 동작을 나타내는 흐름도이다.
도 8은 참조하면, 단계 800에서 입력부는 부호화 된 비트스트림 데이터를 수신한다.
단계 810에서 영상 블록 복호화 부는 수신된 비트스트림 데이터로부터 차분 영상 블록에 대한 예측 블록 부호화 모드를 확인한다. 즉, 입력된 영상 블록이 화면내 부호화 모드 또는 화면간 부호화 모드 중 어떤 부호화 모드에 의해 압축된 것인지를 확인한다. 상기 확인된 부호화 모드를 통해 상기 수신된 영상 블록을 위한 복호화 모드를 결정한다. 이때, 입력되는 영상 블록의 영상 특성이 일 예로, 이전의 영상 블록과의 시작적 상관도가 적은 독립된 영상 블록이라고 판단되면, 단계 840으로 진행한다.
반면에, 이전 영상과의 시간적 상관도가 필요한 영상 블록이라고 판단된 경우는 단계 820으로 진행한다. 또한 입력된 영상 블록이 이전 영상 블록와의 상대적으로 높은 시간적 상관도를 가지나, 중요한 영상 데이터를 포함하는 영상 블록인 경우는, 단계 840으로 진행하여 화면내 예측 블록을 생성하도록 한다.
단계 840에서 예측 블록 생성부는, 현재 입력된 영상 블록과 공간적으로 수평방향 또는 수직방향으로 모션 벡터가 적용된 예측 블록을 생성한다. 즉, 입력된 현재 영상 블록에 대하여, 이전에 부호화를 거쳐 복호화되어 저장되어 있는 참조 영상 블록을 이용하여 화면내 예측 블록을 생성한다.
한편, 단계 820에서 예측 블록 생성부는, 현재 입력된 영상 블록에 대한 문맥정보들을 반영하여 적응적으로 보간 필터를 선택한다. 즉, 예측 블록 생성부는, 상기 선택된 보간 필터를 이용하여 반복적으로 보간 처리를 수행하고, 단계 830에서 상기 현재 영상 블록과의 에러가 최소인 보간 필터를 최종적으로 이용하여 화면간 예측 블록을 생성한다. 즉, 상기 예측 블록 생성부는, 비트스트림 데이터 중에서 보간 필터 정보를 이용하여 적응적으로 보간 필털르 선택할 수 있다.
여기서, 보간 필터 정보는, 초기값(default)으로 설정된 필터와 상기 예측 블록 생성을 위해 선택된 필터간의 차분된 필터의 계수 값 또는 상기 선택된 필터가 속하는 필터 그룹의 인덱스 번호를 포함할 수 있다. 또는 이전의 예측 영상을 위해 사용된 필터와 현재 입력된 영상 블록을 위해 선택된 필터간의 차분된 필터의 계수 값을 포함할 수도 있다. 따라서, 차분된 필터의 계수 값을 이용하여 이전 영상 블록을 위해 필터에 계수 값에 적용하여 현재 영상을 위한 필터를 선택한다.
단계 850에서 예측 블록 생성부는, 상기 화면내 부호화를 통해 출력된 화면내 예측 블록과 상기 화면간 부호화를 통해 출력된 화면간 예측 블록 중에서, 부호화 효율이 좋은 즉, 현재 입력된 영상 블록과의 에러차가 가장 작은 블록을 최종 예측 블록으로 출력한다.
단계 860에서 영상 블록 복호화부는, 복호화 된 차분 영상 블록 데이터와 상기 예측 블록 생성부로부터 생성된 최종 예측 블록의 가산을 통하여 영상 블록을 복원한다. 단계 870에서 영상 블록 복호화부는, 복원된 영상 블록이 영상 블록들 중 마지막 영상 블록인지의 여부를 확인하고, 상기 확인 결과에 대응하여 상기 영 상 복호화 과정을 계속 수행하거나 종료한다.
본 발명의 실시 예에 따른 영상 부호화 및 복호화 장치는 화면간 부호화를 수행함에 있어서, 영상 블록의 문맥정보를 기반으로 반복적인 프로세스를 통해 영상의 특성이 고려된 보간 필터를 선택하여 보간을 수행함으로써, 보다 정밀한 예측 블록을 생성한다. 따라서, 보다 정밀한 고효율 압축을 제공한다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 갖춘 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 특허청범위뿐만 아니라 이 특허청범위와 균등한 것들에 의해 정해져야 한다.
도 1a 내지 도 1d는 본 발명에 적용되는 최적의 보간 필터를 선택하기 위한 영상 블록의 문맥정보의 일 예를 나타낸 도면.
도 2는 본 발명에 따라 다양한 필터들을 구비한 다수의 필터 그룹들의 구조를 나타낸 도면.
도 3a 내지 3d는 본 발명에 따라 보간 필터 정보를 포함하는 슬라이스 구조를 도시한 도면.
도 4는 본 발명에 따라 보간 필터를 선택하는 동작을 도시한 흐름도.
도 5는 본 발명에 따른 영상 부호화 장치의 구성을 나타내는 도면.
도 6은 본 발명의 실시 예에 따라 영상 부호화를 수행하는 동작을 도시한 흐름도.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타내는 도면.
도 8은 본 발명의 실시 예에 따라 영상 복호화를 수행하는 동작을 도시한 흐름도.

Claims (43)

  1. 영상을 부호화하는 장치에 있어서,
    영상 블록의 부호화 모드 정보와, 양자화 값과, 픽셀 위치 정보와, 픽셀의 해상도 중 적어도 하나의 문맥정보를 고려하여 예측 블록을 생성하기 위한 보간 필터를 적응적으로 선택하는 선택기와,
    상기 문맥정보에 대응하여 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크와,
    상기 선택기의 제어에 따라 상기 필터 뱅크로부터 선택되어, 입력된 영상 블록과 관련된 참조 영상 블록을 보간하는 특정 보간 필터를 포함하는 예측 블록 생성부를 구비함을 특징으로 하는 영상 부호화 장치.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 선택기는,
    상기 입력된 영상 블록과 상기 참조 영상 블록간의 에러 차가 최소가 되는 보간 필터를 상기 입력된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택함을 특징으로 하는 영상 부호화 장치.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제 2항에 있어서, 상기 선택기는,
    초기값으로 설정된 보간 필터와 상기 특정 보간 필터의 차분된 필터의 계수값을 확인하여 다음 입력된 영상 블록을 위한 보간 필터를 선택함을 특징으로 하는 영상 부호화 장치.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 선택기는,
    상기 입력된 영상 블록과 관련된 상기 참조 영상 블록을 보간할 보간 필터가 속하는 필터 그룹의 인덱스 번호를 확인하여 상기 특정 보간 필터를 선택함을 특징으로 하는 영상 부호화 장치.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에서 있어서, 상기 예측 블록 생성부는,
    상기 특정 보간 필터를 통해 화면간 부호화를 수행하여 화면간 예측 블록을 생성하는 화면간 예측부를 더 포함함을 특징으로 하는 영상 부호화 장치.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제 5항에 있어서, 상기 예측 블록 생성부는,
    상기 참조 영상 블록을 화면내 부호화를 수행하여 화면내 예측 블록을 생성하는 화면내 예측부를 더 포함함을 특징으로 하는 영상 부호화 장치.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제 6항에 있어서, 상기 예측 블록 생성부는,
    상기 화면간 예측 블록 또는 상기 화면내 예측 블록을, 상기 입력된 영상 블록과 비교하여 에러 차가 작은 블록을 최종 예측 블록으로 출력함을 특징으로 하는 영상 부호화 장치.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    상기 입력된 영상 블록과 상기 최종 예측 블록을 결합하여 차분 영상 블록을 생성하는 영상 블록 생성부를 더 포함함을 특징으로 하는 영상 부호화 장치.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제 8항에 있어서,
    상기 차분 영상 블록을 스펙트럼 데이터로 변환하는 주파수 변화기와,
    상기 주파수 변환기로부터 출력된 스펙트럼 데이터를 상기 입력된 영상 블록에 대응하여 가변되는 양자화 값을 적용하여 양자화하는 양자화기와,
    상기 양자화기로부터 출력되는 영상 정보들과 상기 예측 블록 생성부에서 결정된 보간 필터에 대한 정보를, 정해진 비트 레이트에 따라 코딩하는 엔트로피 코더기를 더 포함함을 특징으로 하는 영상 부호화 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9항에 있어서,
    상기 양자화기로부터 출력되는 영상 정보들을 상기 양자화 값을 적용하여 역양자화하는 역양자화기와,
    상기 역양자화된 영상 정보를 역주파수 변환하여 역 차분 영상 블록을 생성하는 역주파수 변환기를 더 포함함을 특징으로 하는 영상 부호화 장치.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제 10항에 있어서,
    상기 역 차분 영상 블록과, 상기 차분 영상 블록을 비교하여 참조 영상 블록 을 생성하는 차분 영상 블록 복원화부를 더 포함함을 특징으로 하는 영상 부호화 장치.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제 11항에 있어서,
    상기 참조 영상 블록의 불연속성을 확인하여 필터링하는 필터와,
    상기 필터링 된 적어도 하나의 참조 영상 블록을 저장하는 프레임 저장부를 더 포함함을 특징으로 하는 영상 부호화 장치.
  13. 영상을 복호화하는 장치에 있어서,
    다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크와,
    수신된 영상 블록의 인접한 영상 블록의 부호화 모드 정보와, 양자화 값과, 픽셀 위치 정보와, 픽셀의 해상도 중 적어도 하나의 문맥정보를 고려하여 결정된 보간 필터 정보를 확인하여 상기 필터 뱅크로부터 선택된, 상기 수신된 영상 블록과 관련된 참조 영상 블록을 보간하는 특정 보간 필터를 포함하는 예측 블록 생성부를 구비함을 특징으로 하는 영상 복호화 장치.
  14. 제 13항에 있어서, 상기 예측 블록 생성부는,
    상기 보간 필터 정보가 지시하는, 상기 수신된 영상 블록과 상기 참조 영상 블록간의 에러 차가 최소가 되는 보간 필터를, 상기 수신된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택함을 특징으로 하는 영상 복호화 장치.
  15. 제 14항에 있어서, 상기 예측 블록 생성부는,
    초기값으로 설정된 필터와 선택할 보간 필터의 차분된 필터의 계수값을 더 포함하는 상기 보간 필터 정보에 의해 지시되는 보간 필터를, 상기 수신된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택함을 특징으로 하는 영상 복호화 장치.
  16. 제 13항에 있어서, 상기 예측 블록 생성부는,
    상기 보간 필터 정보에 포함되는 필터 그룹의 인덱스 번호에 의해 지시되는 보간 필터를, 상기 수신된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택함을 특징으로 하는 영상 복호화 장치.
  17. 제 14항에서 있어서, 상기 예측 블록 생성부는,
    상기 선택된 보간 필터를 통해 화면간 부호화를 수행하여 화면간 예측 블록을 생성하는 화면간 예측부를 더 포함함을 특징으로 하는 영상 복호화 장치.
  18. 제 17항에 있어서, 상기 예측 블록 생성부는,
    상기 참조 영상 블록을 화면내 부호화를 수행하여 화면내 예측 블록을 생성하는 화면내 예측부를 더 포함함을 특징으로 하는 영상 복호화 장치.
  19. 제 18항에 있어서, 상기 예측 블록 생성부는,
    상기 화면간 예측 블록 또는 상기 화면내 예측 블록을 상기 수신된 영상 블록과 비교하여, 에러 차가 작은 블록을 예측 블록으로 출력함을 특징으로 하는 영상 복호화 장치.
  20. 제 19항에 있어서,
    상기 수신된 영상 블록을 정해진 비트 레이트에 따라 디코딩하는 엔트로피 코더기와,
    상기 디코딩된 영상 블록을 상기 수신된 영상 블록에 대응하여 가변되는 양자화 값을 적용하여 역양자화하는 역양자화기와,
    상기 역양자화기로부터 출력되는 양자화 정보들을 역주파수 변환하여 스펙트럼 데이터로 출력하는 역주파수 변환기를 더 포함함을 특징으로 하는 영상 복호화 장치.
  21. 제 20항에 있어서,
    상기 역주파수 변환기로부터 출력된 스펙트럼 데이터와 상기 예측 블록 생성부로부터 출력된 상기 예측 블록을 결합하여 영상 블록을 생성하는 영상 블록 생성부를 더 포함함을 특징으로 하는 영상 복호화 장치.
  22. 제 21항에 있어서,
    상기 생성된 영상 블록의 불연속성을 확인하여 필터링하는 필터와,
    상기 필터링된 영상 블록을 참조 영상 블록으로 저장하는 프레임 저장부를 더 포함함을 특징으로 하는 영상 복호화 장치.
  23. 영상을 부호화하는 방법에 있어서,
    영상 블록의 부호화 모드 정보와, 양자화 값과, 픽셀 위치 정보와, 픽셀의 해상도 중 적어도 하나의 문맥정보를 고려하여, 다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크로부터 보간 필터를 적응적으로 선택하는 과정과,
    상기 선택된 보간 필터를 이용하여 입력된 영상 블록과 관련된 참조 영상 블록을 보간하는 과정과,
    상기 입력된 영상 블록과 상기 참조 영상 블록간의 에러 차가 최소가 되는 보간 필터를 상기 입력된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 결정하는 과정을 포함함을 특징으로 하는 영상 부호화 방법.
  24. 청구항 24은(는) 설정등록료 납부시 포기되었습니다.
    제 23항에 있어서, 상기 보간 필터를 적응적으로 선택하는 과정은,
    초기값으로 설정된 보간 필터와 상기 선택된 보간 필터의 차분된 필터의 계수값을 확인하여 다음 입력된 영상 블록을 위한 보간 필터를 선택하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  25. 청구항 25은(는) 설정등록료 납부시 포기되었습니다.
    제 23항에 있어서, 상기 보간 필터를 적응적으로 선택하는 과정은,
  26. 청구항 26은(는) 설정등록료 납부시 포기되었습니다.
    제 23항에서 있어서,
    상기 선택된 보간 필터를 통해 화면간 부호화를 수행하여 화면간 예측 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  27. 청구항 27은(는) 설정등록료 납부시 포기되었습니다.
    제 26항에 있어서,
    상기 참조 영상 블록을 화면내 부호화를 수행하여 화면내 예측 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  28. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.
    제 27항에 있어서,
    상기 화면간 예측 블록 또는 상기 화면내 예측 블록을, 상기 입력된 영상 블록과 비교하여, 에러 차가 작은 블록을 최종 예측 블록으로 출력하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  29. 청구항 29은(는) 설정등록료 납부시 포기되었습니다.
    제 28항에 있어서,
    상기 입력된 영상 블록과 상기 최종 예측 블록을 결합하여 차분 영상 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  30. 청구항 30은(는) 설정등록료 납부시 포기되었습니다.
    제 29항에 있어서,
    상기 차분 영상 블록을 스펙트럼 데이터로 변환하는 과정과,
    상기 변환된 스펙트럼 데이터를 상기 입력된 영상 블록에 대응하여 가변되는 양자화 값을 적용하여 양자화하는 과정과,
    상기 양자화된 영상 블록의 정보들과 상기 선택된 보간 필터에 대한 정보를, 정해진 비트 레이트에 따라 코딩하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  31. 청구항 31은(는) 설정등록료 납부시 포기되었습니다.
    제 30항에 있어서,
    상기 양자화된 영상 블록의 정보들을 상기 양자화 값을 적용하여 역양자화하는 과정과,
    상기 역양자화된 영상 블록의 정보를 역주파수 변환하여 역 차분 영상 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  32. 청구항 32은(는) 설정등록료 납부시 포기되었습니다.
    제 31항에 있어서,
    상기 역 차분 영상 블록과 상기 차분 영상 블록을 비교하여, 참조 영상 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  33. 청구항 33은(는) 설정등록료 납부시 포기되었습니다.
    제 32항에 있어서,
    상기 필터링된 적어도 하나의 참조 영상 블록들을 저장하는 과정을 더 포함함을 특징으로 하는 영상 부호화 방법.
  34. 영상을 복호화하는 방법에 있어서,
    수신된 영상 블록의 인접한 영상 블록의 부호화 모드 정보와, 양자화 값과, 픽셀 위치 정보와, 픽셀의 해상도 중 적어도 하나의 문맥정보를 고려하여 결정된 보간 필터 정보를 확인하는 과정과,
    다수의 보간 필터들을 그룹별로 저장하고 있는 필터 뱅크로부터 상기 보간 필터 정보가 지시하는 보간 필터를 선택하는 과정과,
    상기 선택된 보간 필터를 이용하여 상기 수신된 영상 블록과 관련된 참조 영상 블록을 보간하여 예측 블록을 생성하는 과정을 포함함을 특징으로 하는 영상 복호화 방법.
  35. 제 34항에 있어서, 상기 보간 필터를 선택하는 과정은,
    상기 보간 필터 정보가 지시하는, 상기 수신된 영상 블록과 상기 참조 영상 블록간의 에러 차가 최소가 되는 보간 필터를, 상기 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  36. 제 35항에 있어서, 상기 보간 필터를 선택하는 과정은,
    초기값으로 설정된 필터와 선택할 보간 필터의 차분된 필터의 계수값을 더 포함하는 상기 보간 필터 정보에 의해 지시되는 보간 필터를, 상기 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  37. 제 36항에 있어서, 상기 보간 필터를 선택하는 과정은,
    상기 보간 필터 정보에 포함되는 필터 그룹의 인덱스 번호에 의해 지시되는 보간 필터를, 상기 수신된 영상 블록에 대한 예측 블록 생성을 위한 보간 필터로 선택하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  38. 제 34항에서 있어서,
    상기 선택된 보간 필터를 통해 화면간 부호화를 수행하여 화면간 예측 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  39. 제 38항에 있어서,
    상기 참조 영상 블록을 화면내 부호화를 수행하여 화면내 예측 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  40. 제 39항에 있어서,
    상기 화면간 예측 블록 또는 상기 화면내 예측 블록을 상기 수신된 영상 블록과 비교하여, 에러 차가 작은 블록을 예측 블록으로 출력하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  41. 제 34항에 있어서,
    상기 수신된 영상 블록을 정해진 비트 레이트에 따라 디코딩하는 과정과,
    상기 디코딩된 영상 블록을 상기 수신된 영상 블록에 대응하여 가변되는 양자화 값을 적용하여 역양자화하는 과정과,
    상기 역양자화된 영상 블록의 데이터를 역주파수 변환하여 스펙트럼 데이터로 출력하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  42. 제 41항에 있어서,
    상기 출력된 스펙트럼 데이터와 상기 출력된 예측 블록을 결합하여 영상 블록을 생성하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
  43. 제 42항에 있어서,
    상기 생성된 영상 블록의 불연속성을 확인하여 필터링하는 과정과,
    상기 필터링된 영상 블록을 참조 영상 블록으로 저장하는 과정을 더 포함함을 특징으로 하는 영상 복호화 방법.
KR1020090006723A 2009-01-28 2009-01-28 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 KR101538704B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090006723A KR101538704B1 (ko) 2009-01-28 2009-01-28 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US13/146,764 US8897360B2 (en) 2009-01-28 2010-01-28 Method and apparatus for encoding and decoding images by adaptively using an interpolation filter
PCT/KR2010/000506 WO2010087620A2 (ko) 2009-01-28 2010-01-28 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090006723A KR101538704B1 (ko) 2009-01-28 2009-01-28 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100087600A KR20100087600A (ko) 2010-08-05
KR101538704B1 true KR101538704B1 (ko) 2015-07-28

Family

ID=42396181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006723A KR101538704B1 (ko) 2009-01-28 2009-01-28 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치

Country Status (3)

Country Link
US (1) US8897360B2 (ko)
KR (1) KR101538704B1 (ko)
WO (1) WO2010087620A2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
US9317896B2 (en) * 2010-07-09 2016-04-19 Samsung Electronics Co., Ltd. Image interpolation method and apparatus
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
JP5524762B2 (ja) * 2010-08-12 2014-06-18 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
JP5711098B2 (ja) * 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
KR20130098122A (ko) 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
TW201406166A (zh) * 2012-07-27 2014-02-01 Novatek Microelectronics Corp 視訊編碼方法與視訊編碼裝置
CN103581689A (zh) * 2012-08-07 2014-02-12 联咏科技股份有限公司 视频编码方法与视频编码装置
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
JP6097524B2 (ja) * 2012-10-29 2017-03-15 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US10142640B2 (en) * 2013-11-12 2018-11-27 Mediatek Inc. Method and apparatus for using small-sized buffer in compression/decompression with block prediction
US10659806B2 (en) 2014-11-04 2020-05-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus using interpolation filter on which image characteristic is reflected
US20180048890A1 (en) * 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter
KR101702937B1 (ko) * 2015-05-29 2017-02-08 주식회사 칩스앤미디어 해상도 스케일링 방법 및 그 장치
KR102402671B1 (ko) 2015-09-09 2022-05-26 삼성전자주식회사 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
KR20180042899A (ko) * 2016-10-19 2018-04-27 디지털인사이트 주식회사 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
EP3700210A1 (en) 2019-02-21 2020-08-26 Ateme Method and apparatus for image encoding
EP3939275A4 (en) * 2019-03-11 2022-06-22 Telefonaktiebolaget Lm Ericsson (Publ) VIDEO ENCODING WITH GOP-BASED TEMPORAL FILTRATION
CN111656782A (zh) * 2019-06-19 2020-09-11 北京大学 视频处理方法和设备
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
WO2021043786A1 (en) * 2019-09-04 2021-03-11 Interdigital Vc Holdings France, Sas Switchable interpolation filters

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050018948A (ko) * 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR20080041935A (ko) * 2006-11-08 2008-05-14 삼성전자주식회사 영상 보간 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
CN100452668C (zh) 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
JP4724061B2 (ja) * 2006-07-06 2011-07-13 株式会社東芝 動画像符号化装置
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050018948A (ko) * 2002-07-09 2005-02-28 노키아 코포레이션 비디오 부호화에서 보간 필터 유형을 선택하기 위한 방법및 장치
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR20080041935A (ko) * 2006-11-08 2008-05-14 삼성전자주식회사 영상 보간 방법 및 장치

Also Published As

Publication number Publication date
KR20100087600A (ko) 2010-08-05
US8897360B2 (en) 2014-11-25
WO2010087620A2 (ko) 2010-08-05
US20120033728A1 (en) 2012-02-09
WO2010087620A3 (ko) 2010-10-21

Similar Documents

Publication Publication Date Title
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US11272218B2 (en) Method of decoding moving pictures in intra prediction
US11889052B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
KR100977101B1 (ko) 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
KR20200002764A (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20150141177A (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20100079037A (ko) 비디오 영상 부호화 방법 및 장치
KR20130045151A (ko) 복원 블록을 생성하는 방법 및 장치
KR101569912B1 (ko) 영상의 복호화/부호화 방법 및 장치
KR101204385B1 (ko) 인트라 예측 모드에서의 영상 복호화 방법
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
Sekigucni et al. A novel video coding scheme for Super Hi-vision
KR20150070845A (ko) 영상의 복호화/부호화 방법 및 장치
KR20140130572A (ko) 동영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 5