KR20130006652A

KR20130006652A - 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치

Info

Publication number: KR20130006652A
Application number: KR1020127026424A
Authority: KR
Inventors: 호엘 솔; 시아오안 루; 펭 인; 치안 슈; 윤페이 젱
Original assignee: 톰슨 라이센싱
Priority date: 2010-03-10
Filing date: 2011-03-04
Publication date: 2013-01-17
Also published as: CN102918564A; WO2011112239A1; KR101753273B1; US9277245B2; JP2013522957A; US20130051453A1; CN102918564B; EP2545529A1; JP5908848B2

Abstract

변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치가 제공된다. 장치는 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 특정의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 인코딩하는 비디오 인코더(300)를 포함한다. 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 선택된다.

Description

변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치{METHODS AND APPARATUS FOR CONSTRAINED TRANSFORMS FOR VIDEO CODING AND DECODING HAVING TRANSFORM SELECTION}

관련 출원의 상호 참조

본 출원은 2010년 3월 10일자로 출원된 미국 가특허 출원 제61/312,465호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.

본 발명은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 보다 상세하게는 변환 선택(transform selection)을 갖는 비디오 인코딩 및 디코딩을 위한 제약 변환(constrained transform) 방법 및 장치에 관한 것이다.

블록-기반 이산 변환은 JPEG(Joint Photographic Experts Group), ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-1(Moving Picture Experts Group-1) 표준, ISO/IEC MPEG-2 표준, ISO/IEC MPEG-4 표준, ITU-T(International Telecommunication Union, Telecommunication Sector) H.263 권고안, 및 ISO/IEC MPEG-4 파트 10 AVC(Advanced Video Coding) 표준/ITU-T H.264 권고안(이후부터 "MPEG-4 AVC 표준"이라고 함) 등을 비롯한 많은 영상 및 비디오 압축 표준의 기본 구성요소이고, 광범위한 응용 분야에서 사용되고 있다.

DCT(discrete cosine transform)는 가장 널리 사용되는 블록 변환이다. DCT 방식은 영상/프레임을 픽셀 블록(보통 4x4 및 8x8)으로 분할하고, 각각의 블록을 이산 코사인 변환을 사용하여 공간 영역으로부터 주파수 영역으로 변환하며 DCT 계수를 양자화함으로써 영상/프레임의 국소 공간 상관 특성을 이용한다. 대부분의 영상 및 비디오 압축 표준은 고정된 2차원(2D) 분리가능 DCT 블록 변환을 사용한다. 몇개의 블록 크기(통상적으로 4x4 내지 16x16 블록)가 허용되는 경우, 블록에 대응하는 크기를 갖는 DCT가 사용된다. 그럼에도 불구하고, 각각의 블록 크기에 대해 단 하나의 가능한 변환이 있다.

그렇지만, 영상 및 비디오 콘텐츠는 변하는 통계 및 특성을 갖는 데이터를 가진다. 따라서, 각각의 블록에 대해 몇개의 변환이 사용될 수 있고, 일정 범위의 옵션 내에서 각각의 상황에 대해 가장 바람직한 변환을 선택하는 경우 잠재적인 압축 이득이 있다. 예를 들어, MPEG-4 AVC 표준 등의 영상 및 비디오 코딩 표준에서, 블록 변환이 각각의 블록 크기에 대해 사용할 선택이 하나 밖에 없다. 따라서, 변환의 선택이 없다.

단일 코딩 방식에서 다수의 변환을 사용하기 위한 몇몇 종래의 제안이 있었다. KLT(Karhunen Loeve Transform)는 제1 종래 기술에서 기술된 최적의 선형 변환이다. KLT는 MPEG-4 AVC 표준에서의 9개의 인트라 예측 모드 각각에 대한 최상의 변환을 도출하기 위해 제1 종래 기술 방식에서 이용된다. 각각의 모드에 대한 통계가 추출되고, 대응하는 KLT가 도출된다. 각각의 인트라 예측 잔차가 그의 KLT로 인코딩된다. 9개의 인트라 모드는, DCT가 더 이상 최상의 변환에 가깝지 않도록, 데이터 공간을 효과적으로 분할하고, 따라서 차별적인 최상의 변환이 도출되고 성공적으로 적용될 수 있다. 요약하면, 제1 종래 기술 방식은 몇가지 변환을 사용하지만, 각각의 변환이 선택된 인트라 예측 모드에 고정되어 있다.

제2 종래 기술 방식은 DCT 변환을 몇개의 주파수로 수정하는 것(즉, 각종의 와핑된 주파수 응답을 달성하기 위해 상이한 전역 통과 필터로 기저 함수를 변경하는 것)을 제안하고 있다. 얻어지는 변환을 와핑된 DCT(warped DCT, WDCT)라고 한다. 전수적 레이트 왜곡(rate distortion, R-D) 검색이 각각의 블록에 대해 수행되고, 선택된 변환이 부가 정보(side information)로 표시된다. 이러한 착안이 영상 압축에 적용된다. 제3 종래 기술 방식은 WDCT를 사용하고 변환된 계수 자체 내에 변환 선택을 포함(embedding)시키는 것을 말한다. 제3 종래 기술 방식은 저비트 레이트(low-bit rate) 영상 압축에 대해 양호한 성능을 나타낸다. 또한, 제3 종래 기술 방식은 MSE(mean square error, 평균 제곱 오차)를 최소화시키는 후처리 필터링(post-filtering) 단계를 부가하고 있다. 필터가 인코더에서 결정되고 비트스트림으로 멀티플렉싱된다.

제4 종래 기술 방식은 대규모 데이터베이스에 대한 변환의 세트의 대수 최적화(algebraic optimization)를 제안한다. 이 세트가 안정점에 도달할 때까지 - 이 때 각각의 변환이 그 특정의 데이터 서브셋에 대해 희소 최적(sparse-optimal)임 - 반복적으로 분할된다. 인코더는 각각의 블록에서 어느 변환이 사용되는지를 쿼드-트리(quad-tree)를 통해 나타낸다. 따라서, 각각의 블록에 대해 독립적으로 변환 선택이 획득되지 않는다.

제5 종래 기술 방식은 프레임간 잔차(inter frame residue)에 대해 IST(integer sine transform, 정수 사인 변환)를 제안하고 있다. 프레임간 잔차는 낮은 상관을 가지며, 강하게 상관된 데이터(highly correlated data)에 대해서만 DCT가 적당하다. 따라서, 제5 종래 기술 방식은 -0.5 내지 0.5의 상관을 갖는 데이터에 효율적인 사인 변환(sine transform)을 제안한다. KLT는 이 범위의 일부에서 사인 변환과 일치한다. IST는 MPEG-4 AVC 표준에서의 정수 코사인 변환과 완전히 동일한 방식으로 사인 변환으로부터 도출된다. 제5 종래 기술 방식은 4x4 및 8x8 IST 버전을 구현하였다. 매크로블록이 4개의 서브매크로블록으로 나누어지지 않는 한 - 나누어지는 경우에, 각각의 서브매크로블록에서 이용되는 변환을 나타내는 4개의 플래그가 전송됨 -, 전체 매크로블록에 대해 동일한 변환이 적용되고, 하나의 플래그를 전송한다.

제6 종래 기술 방식은 제5 종래 기술 방식에서 제안된 것과 유사한 방식을 제안하고 있다. 제6 종래 기술 방식은 공간 및 주파수 영역에서 적응적 예측 오차 코딩을 가능하게 해주는 APEC(adaptive prediction error coding, 적응적 예측 오차 코딩) 코딩 방식을 제안하고 있다. 예측 오차의 각각의 블록에 대해, 변환 코딩 또는 공간 영역 코딩 중 어느 하나가 적용된다. 보다 낮은 레이트-왜곡(RD) 비용을 갖는 알고리즘이 선택된다.

이들 방식은 최상의 변환의 제한된 범위의 선택을 제안하고, 개념의 일반성을 완전히 이용하지 않는다.

본 발명자는 상기한 종래 기술에서 고려되지 않은 대안을 포함하는 보다 일반적이고 폭넓은 방식을 이전에 개시하고 기술하였다. 이들 개념은 제7 종래 기술 방식 및 제8 종래 기술 방식과 관련하여 개시되어 있다. 제7 및 제8 종래 기술 방식은 변환의 세트(2개 이상의 변환)의 사용을 기술하고 있으며, 각각의 영역, 슬라이스, 블록 또는 매크로블록에 대해 그 세트 중에서 최상의 변환을 선택하여 영상 또는 비디오를 인코딩한다. 변환의 세트가 일정 범위의 통계 또는 영상/비디오 패턴에 대해 최적화되거나 설계될 수 있다. 실제로, 변환들 중 하나의 변환이 DCT이다. 그러면, DCT와 함께 잘 동작하는 어떤 대안의 변환이 그 세트에 있어야 하는지에 관한 문제점이 발생한다. 대안의 변환을 획득하는 다른 방법이 제7 및 제8 종래 기술 방식에 개략적으로 기술되어 있고, 예를 들어, 세트를 훈련시키고 희소성-기반 방법에 의해 대응하는 KLT를 획득하는 것 등을 포함한다. 그렇지만, 이들 방법은 PSNR(peak signal to noise ratio) 또는 BD-레이트(Bjontegaard 비트 레이트 절감)와 같은 객관적 메트릭을 최적화시키려고 시도하거나 DST(Discrete Sine Transform, 이산 사인 변환)와 같은 기본적인 대안을 사용하지만, 인코딩된 시퀀스의 주관적 품질을 고려하지 않는다.

본 발명자는 변환 선택 방법에 의해 인코딩된 시퀀스가 (PSNR은 향상시키지만) "윈도우형 패턴(windowed pattern)"이라고 하는 새로운 아티팩트를 겪을 수 있다는 것을 알았다. 이 패턴은 주로 낮은 비트 레이트에서 발견되고 거슬릴 수 있다.

변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치에 관한 본 발명에 의해 종래 기술의 이들 및 기타 결점 및 단점이 해결된다.

본 발명의 한 측면에 따르면, 장치가 제공된다. 이 장치는 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 특정의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 인코딩하는 비디오 인코더를 포함한다. 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 선택된다.

본 발명의 다른 측면에 따르면, 비디오 인코더에서의 방법이 제공된다. 이 방법은 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 특정의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 인코딩하는 단계를 포함한다. 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 선택된다.

본 발명의 또 다른 측면에 따르면, 장치가 제공된다. 이 장치는 화상 내의 적어도 블록에 대한 변환 계수 및 변환 표시자 - 변환 표시자는 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중 어느 것이 블록을 인코딩하는 데 사용되었는지를 나타냄 - 를 수신하고 변환 표시자에 의해 나타내어져 있는 바와 같이 제1 및 제2 변환 중 하나의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 디코딩하는 비디오 디코더를 포함한다. 비디오 디코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 결정된다.

본 발명의 또 다른 측면에 따르면, 비디오 디코더에서의 방법이 제공된다. 이 방법은 화상 내의 적어도 블록에 대한 변환 계수 및 변환 표시자를 수신함으로써 화상 내의 적어도 블록을 디코딩하는 단계를 포함한다. 변환 표시자는 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중 어느 것이 블록을 인코딩하는 데 사용되었는지를 나타내기 위한 것이다. 이 방법은 변환 표시자에 의해 나타내어져 있는 바와 같이 제1 및 제2 변환 중 하나의 변환을 블록의 잔차에 적용하는 단계를 추가로 포함한다. 비디오 디코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 결정된다.

본 발명의 이들 및 기타 측면, 특징 및 이점이 첨부 도면과 관련하여 기술된 예시적인 실시예에 대한 이하의 상세한 설명으로부터 명백하게 될 것이다.

본 발명이 이하의 예시적인 도면을 참조하면 더 잘 이해될 수 있다.
도 1은 MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더를 나타낸 블록도.
도 2는 MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더를 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른, 변환 선택을 갖는 예시적인 비디오 인코더를 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 예시적인 비디오 디코더를 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른, 변환 선택을 사용하여 화상에 대한 블록 잔차 데이터를 인코딩하는 예시적인 방법을 나타낸 흐름도.
도 6은 본 발명의 일 실시예에 따른, 변환 선택을 사용하여 화상에 대한 블록 잔차 데이터를 디코딩하는 예시적인 방법을 나타낸 흐름도.

본 발명은 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치에 관한 것이다.

이 설명은 본 발명에 대해 기술한다. 따라서, 당업자라면, 본 명세서에 명시적으로 기술되거나 도시되어 있지 않지만, 본 발명을 구현하고 또 본 발명의 사상 및 범위 내에 포함되는 다양한 구성들을 안출할 수 있다는 것을 잘 알 것이다.

본 명세서에 상술되는 모든 일례 및 조건적 화법은 기술을 발전시키기 위해 발명자들이 기여한 개념들 및 본 발명을 이해하는 데 도움을 주도록 교육적 목적을 위한 것이며, 이러한 구체적으로 상술된 일례들 및 조건들로 제한되는 것으로 해석되어서는 안된다.

게다가, 본 발명의 원리, 측면 및 실시예는 물론 본 발명의 구체적인 일례를 기술하는 본 명세서의 모든 설명이 본 발명의 구조적 등가물 및 기능적 등가물 둘다를 포괄하는 것으로 보아야 한다. 그에 부가하여, 이러한 등가물이 현재 공지된 등가물은 물론 장래에 개발되는 등가물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소도 포함하는 것으로 보아야 한다.

따라서, 예를 들어, 당업자라면 본 명세서에 제공된 블록도가 본 발명을 구현하는 예시적인 회로의 개념도를 나타낸다는 것을 잘 알 것이다. 이와 마찬가지로, 어떤 플로우차트, 흐름도, 상태 천이도, 의사코드 등이, 사실상 컴퓨터 판독가능 매체에 표현되고 따라서 컴퓨터 또는 프로세서(이러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있든 그렇지 않든 간에)에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 잘 알 것이다.

도면에 도시된 다양한 요소들의 기능이 전용 하드웨어는 물론 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 프로세서에 의해 제공될 때, 이들 기능은 하나의 전용 프로세서에 의해, 하나의 공유 프로세서에 의해, 또는 복수의 개별 프로세서(이들 중 일부는 공유될 수 있음)에 의해 제공될 수 있다. 게다가, "프로세서" 또는 "제어기"라는 용어의 명시적 사용이 소프트웨어를 실행할 수 있는 하드웨어만을 말하는 것으로 해석되어서는 안되며, 디지털 신호 처리기(DSP) 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장 장치(이에 한정되지 않음)를 암시적으로 포함할 수 있다.

기타 종래의 하드웨어(conventional hardware) 및/또는 커스텀 하드웨어(custom hardware)도 역시 포함될 수 있다. 이와 마찬가지로, 도면들에 도시된 임의의 스위치는 단지 개념적인 것이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 문맥으로부터 보다 구체적으로 이해되는 바와 같이 특정의 기법이 구현자에 의해 선택될 수 있다.

본 발명의 청구항에서, 지정된 기능을 수행하는 수단으로서 표현된 임의의 요소는, 예를 들어, a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 기능을 수행하기 위해 소프트웨어를 실행하는 적절한 회로와 결합된 임의의 형태의 소프트웨어(따라서, 펌웨어, 마이크로코드, 기타를 포함함)를 비롯하여, 그 기능을 수행하는 임의의 방식을 포함하는 것으로 보아야 한다. 이러한 청구항에 의해 정의된 본 발명은 다양한 인용된 수단들에 의해 제공된 기능들이 청구항이 요구하는 방식으로 결합되어 합해진다는 사실에 존재한다. 따라서, 그 기능들을 제공할 수 있는 어떤 수단이라도 본 명세서에 제공된 기능들과 등가인 것으로 간주된다.

본 명세서에서 본 발명의 "일 실시예" 또는 "실시예"는 물론 그의 다른 변형이라고 하는 것은 이 실시예와 관련하여 기술된 특정의 특징, 구조, 특성, 기타가 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 따라서, 본 명세서에 걸쳐 여러 곳에서 나오는 "일 실시예에서" 또는 "실시예에서"라는 문구 및 임의의 다른 변형 문구가 모두 동일한 실시예를 말하는 것은 아니다.

"/", "및/또는" 그리고 "~중 적어도 하나"라는 용어의 사용(예를 들어, "A/B", "A 및/또는 B"와 "A와 B 중 적어도 하나"의 경우)이 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 양쪽 옵션(A 및 B) 둘다의 선택을 포괄하는 것으로 보아야 한다는 것을 잘 알 것이다. 추가의 일례로서, "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우에, 이러한 구문은 첫번째로 열거된 옵션(A)만의 선택, 또는 두번째로 열거된 옵션(B)만의 선택, 또는 세번째로 열거된 옵션(C)만의 선택, 또는 첫번째 및 두번째로 열거된 옵션(A 및 B)만의 선택, 또는 첫번째 및 세번째로 열거된 옵션(A 및 C)만의 선택, 또는 두번째 및 세번째로 열거된 옵션(B 및 C)만의 선택, 또는 3개의 옵션(A 및 B 및 C) 모두의 선택을 포괄하는 것으로 보아야 한다. 당업자라면 잘 알 것인 바와 같이, 열거된 많은 항목들에 대해 이것이 확장될 수 있다.

예시 및 설명을 위해, 일례가 MPEG-4 AVC 표준에 대한 개선과 관련하여 본 명세서에 기술되어 있으며, 이 설명에 대한 기준으로서 MPEG-4 AVC 표준을 사용하고 MPEG-4 AVC 표준에 대한 개선 및 확장을 설명하고 있다. 그렇지만, 본 발명이 MPEG-4 AVC 표준 및/또는 그의 확장으로만 제한되지 않는다는 것을 잘 알 것이다. 본 명세서에 제공된 본 발명의 원리의 교시가 주어지면, 이 기술 분야 및 관련 기술 분야의 당업자는 본 발명이 똑같이 적용가능하고 다른 표준의 확장에 적용될 때 또는 아직 개발되지 않은 표준 내에서 적용되고 및/또는 포함될 때 적어도 유사한 이점을 제공할 것임을 즉각 이해할 것이다. 게다가, 본 발명이 또한 표준을 준수하지 않고 오히려 독점적 정의를 따르는 비디오 인코더 및 비디오 디코더에도 적용된다는 것을 잘 알 것이다.

또한, 본 명세서에서 사용되는 바와 같이, 단어 "화상" 및 "영상"은 서로 바꾸어 사용될 수 있고, 정지 영상 또는 비디오 시퀀스로부터의 화상을 말한다. 공지된 바와 같이, 화상은 프레임 또는 필드일 수 있다.

도 1을 참조하면, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더가 전체적으로 참조 번호(100)로 나타내어져 있다. 비디오 인코더(100)는 결합기(combiner)(185)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(110)를 포함하고 있다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(entropy coder)(145)의 제1 입력 그리고 역변환기 및 역양자화기(150)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력에 연결되어 신호 통신을 한다.

인코더 제어기(105)의 제1 출력은 프레임 순서화 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 화상-유형 결정 모듈(picture-type decision module)(115)의 입력, 매크로블록-유형(MB-유형) 결정 모듈(MB-type decision module)(120)의 제1 입력, 인트라 예측 모듈(intra prediction module)(160)의 제2 입력, 디블로킹 필터(165)의 제2 입력, 움직임 보상기(motion compensator)(170)의 제1 입력, 움직임 추정기(motion estimator)(175)의 제1 입력, 및 기준 화상 버퍼(reference picture buffer)(180)의 제2 입력에 연결되어 신호 통신을 한다.

인코더 제어기(105)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(130)의 제1 입력, 변환기 및 양자화기(125)의 제2 입력, 엔트로피 코더(145)의 제2 입력, 출력 버퍼(135)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 입력에 연결되어 신호 통신을 한다.

SEI 삽입기(130)의 출력은 결합기(190)의 제2 비반전 입력에 연결되어 신호 통신을 한다.

화상-유형 결정 모듈(115)의 제1 출력은 프레임 순서화 버퍼(110)의 제3 입력에 연결되어 신호 통신을 한다. 화상-유형 결정 모듈(115)의 제2 출력은 매크로블록-유형 결정 모듈(120)의 제2 입력에 연결되어 신호 통신을 한다.

SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 출력은 결합기(190)의 제3 비반전 입력에 연결되어 신호 통신을 한다.

역양자화기 및 역변환기(150)의 출력은 결합기(119)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블로킹 필터(165)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(165)의 출력은 기준 화상 버퍼(180)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(180)의 출력은 움직임 추정기(175)의 제2 입력 및 움직임 보상기(170)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(175)의 제1 출력은 움직임 보상기(170)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력에 연결되어 신호 통신을 한다.

움직임 보상기(170)의 출력은 스위치(197)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-유형 결정 모듈(120)의 출력은 스위치(197)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(197)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공되어야 하는지를 결정한다. 스위치(197)의 출력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력에 연결되어 신호 통신을 한다.

프레임 순서화 버퍼(110)의 제1 입력 및 인코더 제어기(105)의 입력은, 입력 화상을 수신하기 위해, 인코더(100)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(130)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(100)의 입력으로서 이용가능하다. 출력 버퍼(135)의 출력은, 비트스트림을 출력하기 위해, 인코더(100)의 출력으로서 이용가능하다.

도 2를 참조하면, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더가 전체적으로 참조 번호(200)로 나타내어져 있다. 비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(210)를 포함하고 있다. 엔트로피 디코더(245)의 제1 출력은 역변환기 및 역양자화기(250)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(225)의 출력은 디블로킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(265)의 제2 출력은 기준 화상 버퍼(280)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(280)의 출력은 움직임 보상기(270)의 제2 입력에 연결되어 신호 통신을 한다.

엔트로피 디코더(245)의 제2 출력은 움직임 보상기(270)의 제3 입력 및 디블로킹 필터(265)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(245)의 제3 출력은 디코더 제어기(205)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제3 출력은 디블록킹 필터(265)의 제3 입력에 연결되어 신호 통신을 한다. 디코더 제어기(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력, 움직임 보상기(270)의 제1 입력, 및 기준 화상 버퍼(280)의 제2 입력에 연결되어 신호 통신을 한다.

움직임 보상기(270)의 출력은 스위치(297)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력에 연결되어 신호 통신을 한다.

입력 버퍼(210)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(200)의 입력으로서 이용가능하다. 디블로킹 필터(265)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(200)의 출력으로서 이용가능하다.

주목할 점은, 도 1의 인코더 또는 도 2의 디코더에서 어떤 변환 선택도 수행되지 않는다는 것이다.

도 3을 참조하면, 변환 선택을 갖는 예시적인 비디오 인코더가 전반적으로 참조 번호(300)로 나타내어져 있다. 비디오 인코더(300)는 결합기(combiner)(385)의 비반전 입력과 신호 통신을 하는 출력을 갖는 프레임 순서화 버퍼(frame ordering buffer)(310)를 포함하고 있다. 결합기(385)의 출력은 변환기 및 양자화기 1(325)의 입력, 변환기 및 양자화기 2(326)의 입력, 및 변환기 및 양자화기 n(327)의 입력과 연결되어 신호 통신을 한다. 변환기 및 양자화기 1(325)의 출력은 변환 선택기(329)의 제1 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기 2(326)의 출력은 변환 선택기(329)의 제2 입력에 연결되어 신호 통신을 한다. 변환기 및 양자화기 n(327)의 출력은 변환 선택기(329)의 제3 입력에 연결되어 신호 통신을 한다. 변환 선택기(329)의 출력은 엔트로피 코더(entropy coder)(345)의 제1 입력 그리고 역변환기 및 역양자화기(350)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 코더(345)의 출력은 결합기(390)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(390)의 출력은 출력 버퍼(335)의 제1 입력에 연결되어 신호 통신을 한다.

인코더 제어기(305)의 제1 출력은 프레임 순서화 버퍼(310)의 제2 입력, 역변환기 및 역양자화기(350)의 제2 입력, 화상-유형 결정 모듈(picture-type decision module)(315)의 입력, 매크로블록-유형(MB-유형) 결정 모듈(MB-type decision module)(320)의 제1 입력, 인트라 예측 모듈(intra prediction module)(360)의 제2 입력, 디블로킹 필터(365)의 제2 입력, 움직임 보상기(motion compensator)(370)의 제1 입력, 움직임 추정기(motion estimator)(375)의 제1 입력, 및 기준 화상 버퍼(reference picture buffer)(380)의 제2 입력에 연결되어 신호 통신을 한다.

인코더 제어기(305)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(330)의 제1 입력, 엔트로피 코더(345)의 제2 입력, 출력 버퍼(335)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 입력에 연결되어 신호 통신을 한다.

SEI 삽입기(330)의 출력은 결합기(390)의 제2 비반전 입력에 연결되어 신호 통신을 한다.

화상-유형 결정 모듈(315)의 제1 출력은 프레임 순서화 버퍼(310)의 제3 입력에 연결되어 신호 통신을 한다. 화상-유형 결정 모듈(315)의 제2 출력은 매크로블록-유형 결정 모듈(320)의 제2 입력에 연결되어 신호 통신을 한다.

SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 출력은 결합기(390)의 제3 비반전 입력에 연결되어 신호 통신을 한다.

역양자화기 및 역변환기(350)의 출력은 결합기(319)의 제1 비반전 입력에 연결되어 신호 통신을 한다. 결합기(319)의 출력은 인트라 예측 모듈(360)의 제1 입력 및 디블로킹 필터(365)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(365)의 출력은 기준 화상 버퍼(380)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(380)의 출력은 움직임 추정기(375)의 제2 입력 및 움직임 보상기(370)의 제3 입력에 연결되어 신호 통신을 한다. 움직임 추정기(375)의 제1 출력은 움직임 보상기(370)의 제2 입력에 연결되어 신호 통신을 한다. 움직임 추정기(375)의 제2 출력은 엔트로피 코더(345)의 제3 입력에 연결되어 신호 통신을 한다.

움직임 보상기(370)의 출력은 스위치(397)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2 입력에 연결되어 신호 통신을 한다. 매크로블록-유형 결정 모듈(320)의 출력은 스위치(397)의 제3 입력에 연결되어 신호 통신을 한다. 스위치(397)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교한 것임)이 움직임 보상기(370) 또는 인트라 예측 모듈(360)에 의해 제공되어야 하는지를 결정한다. 스위치(397)의 출력은 결합기(319)의 제2 비반전 입력 및 결합기(385)의 반전 입력에 연결되어 신호 통신을 한다.

프레임 순서화 버퍼(310)의 제1 입력 및 인코더 제어기(305)의 입력은, 입력 화상을 수신하기 위해, 인코더(300)의 입력으로서 이용가능하다. 게다가, SEI(Supplemental Enhancement Information) 삽입기(330)의 제2 입력은, 메타데이터를 수신하기 위해, 인코더(300)의 입력으로서 이용가능하다. 출력 버퍼(335)의 출력은, 비트스트림을 출력하기 위해, 인코더(300)의 출력으로서 이용가능하다.

도 4를 참조하면, 변환 선택을 갖는 예시적인 비디오 디코더가 전반적으로 참조 번호(400)로 나타내어져 있다. 비디오 디코더(400)는 엔트로피 디코더(445)의 제1 입력에 연결되어 신호 통신을 하는 출력을 갖는 입력 버퍼(410)를 포함하고 있다. 엔트로피 디코더(445)의 제1 출력은 역변환기 및 역양자화기 i(450)의 제1 입력에 연결되어 신호 통신을 한다. 역변환기 및 역양자화기 i(450)의 출력은 결합기(425)의 제2 비반전 입력에 연결되어 신호 통신을 한다. 결합기(425)의 출력은 디블로킹 필터(465)의 제2 입력 및 인트라 예측 모듈(460)의 제1 입력에 연결되어 신호 통신을 한다. 디블록킹 필터(465)의 제2 출력은 기준 화상 버퍼(480)의 제1 입력에 연결되어 신호 통신을 한다. 기준 화상 버퍼(480)의 출력은 움직임 보상기(470)의 제2 입력에 연결되어 신호 통신을 한다.

엔트로피 디코더(445)의 제2 출력은 움직임 보상기(470)의 제3 입력 및 디블로킹 필터(465)의 제1 입력에 연결되어 신호 통신을 한다. 엔트로피 디코더(445)의 제3 출력은 디코더 제어기(405)의 입력에 연결되어 신호 통신을 한다. 디코더 제어기(405)의 제1 출력은 엔트로피 디코더(445)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(405)의 제2 출력은 역변환기 및 역양자화기 i(450)의 제2 입력에 연결되어 신호 통신을 한다. 디코더 제어기(405)의 제3 출력은 디블록킹 필터(465)의 제3 입력에 연결되어 신호 통신을 한다. 디코더 제어기(405)의 제4 출력은 인트라 예측 모듈(460)의 제2 입력, 움직임 보상기(470)의 제1 입력, 및 기준 화상 버퍼(480)의 제2 입력에 연결되어 신호 통신을 한다.

움직임 보상기(470)의 출력은 스위치(497)의 제1 입력에 연결되어 신호 통신을 한다. 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력에 연결되어 신호 통신을 한다. 스위치(497)의 출력은 결합기(425)의 제1 비반전 입력에 연결되어 신호 통신을 한다.

입력 버퍼(410)의 입력은, 입력 비트스트림을 수신하기 위해, 디코더(400)의 입력으로서 이용가능하다. 디블로킹 필터(465)의 제1 출력은, 출력 화상을 출력하기 위해, 디코더(400)의 출력으로서 이용가능하다.

앞서 살펴본 바와 같이, 본 발명은 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치에 관한 것이다. 본 발명에 따른 방법 및 장치는 유리하게도 변환 선택 방법에 의해 인코딩된 시퀀스에서 (PSNR은 향상시키지만) 관찰된 새로운 아티팩트인 상기한 "윈도우형 패턴"에 관한 것이다. 앞서 살펴본 바와 같이, 이 패턴은 주로 낮은 비트 레이트에서 발견되고 거슬릴 수 있다.

유익하게도, 본 발명은 "윈도우형 패턴" 아티팩트의 출현을 피하기 위해 변환 선택 방법에서 대안의 변환을 설계하거나 선택하는 방법 및 장치를 제공한다. 알고 있는 바로는, 변환 선택 방법(전환가능 변환 또는 대안의 변환이라고도 함)의 사용으로부터 발생하는 "윈도우형 패턴" 또는 관련 아티팩트가 다른 연구에서는 언급되지 않았다.

제5 및 기타 종래 기술 방식은 계산이 간단하거나 양호한 목적 결과를 획득하는 대안의 변환을 설계하고 있다. 그렇지만, 이러한 종래 기술 방식은 이 방법에 의해 유입되는 패턴에 대해 언급하지 않았고, 주관적 품질을 평가했으며, 따라서 본 발명에 따라 제안된 바와 같이 패턴을 다루는 변환을 제안하였다.

본 발명에 따르면, 변환 선택 방법은 각각의 블록에 대해 변환의 세트 중에서 선택된 하나의 변환을 사용한다. 사용할 변환은 보통 그 세트에서의 각각의 변환의 레이트-왜곡 성능을 검사함으로써 결정되고 최상의 성능을 제공하는 것으로 선택된다. 인코더는 그 선택을 디코더에 신호한다. 도 3은 변환 선택을 갖는 비디오 인코더(300)의 일례를 나타낸 것이고, 도 4는 도 3의 비디오 인코더(300)와 함께 사용하기 위한 비디오 디코더(400)의 일례를 나타낸 것이다. 비디오 디코더(400)는 비디오 인코더(300)에서 선택된 변환에 대응하는 역변환을 사용한다.

DCT가 널리 사용되고 있고 DCT가 비디오 코딩에서 아주 잘 기능하는 것으로 널리 알려져 있으므로, DCT를 세트 내의 변환들 중 하나로서 포함시키는 것이 타당하다는 것을 알고 있다. 이어서, 변환 선택 도구 내에서 DCT와 함께 잘 동작하는 제2(또는 추가의) 변환을 획득한다.

(DCT와 함께 동작하는) 최상의 가능한 제2 변환이 KLT 및 희소성-기반 알고리즘을 사용하여 결정될 수 있다. KLT는 데이터가 주어진 경우의 최적 선형 변환이다. 이전의 연구는 PSNR 성능을 극대화하는 것에 관한 것이다. 그렇지만, 주관적 품질 평가를 할 때, 이들 방법에 의해 획득된 양호한 PSNR 개선을 제공하는 변환이 또한 낮은 비트 레이트에서 거슬리는 아티팩트를 유입시킨다는 것에 주목해야 한다. 이들 아티팩트는 재구성된 비디오에서 윈도우형 패턴으로 나타난다. 이 문제를 더 연구하면, 이들 아티팩트가 다음과 같은 2가지 이유로 나타난다는 것을 알 수 있다:

1. 낮은 비트 레이트에서, 단 하나의 변환된 계수가 0으로 양자화되지 않는 경우가 종종 있다. 이 계수는 보통 최저 주파수 계수이다. 이것이 인접한 블록에서 일어나는 경우, 최저 주파수 계수의 패턴이 인접한 블록들 전부에서 나타나, 윈도우형 패턴을 생성한다.

2. DCT의 경우에, 최저 주파수 계수는 직류(DC) 성분이다(즉, 단지 정사각형 또는 블록 패턴임). 따라서, 낮은 비트 레이트에서, 하나의 영이 아닌 계수를 코딩하는 것은 블록화 아티팩트(blocking artifact)를 야기한다. 이들 아티팩트는 대체로 나중에 디블록킹 필터[예컨대, 도 1에서의 디블록킹 필터(165) 등]에 의해 제거된다. 이러한 필터가 본 명세서에 기술된 윈도우형 아티팩트를 제거하기 위해 존재하지 않는다.

본 발명은 제2 변환을 재구성된 데이터에 나중에 적용되는 디블록킹 필터에 따라 조정되도록 수정함으로써 상기한 문제를 해결하는 것을 제안하고 있다.

일 실시예에서, 제2 변환의 최저 주파수 성분이 생성하는 윈도우 아티팩트가 블록 아티팩트에 충분히 가깝도록 그 성분을 아주 평탄하게 한다. 이 상황에서, 디블록킹 필터는 이들 아티팩트를 제거하는 일을 맡을 수 있고, 추가의 필터 또는 부가의 처리가 필요없다. 도 3 및 도 4는 변환 1을 DCT로 선택하고 나머지 변환(2 내지 n)을 KLT(또는 어떤 다른 변환)로 선택하며 KLT의 제1 기저 벡터를 평탄성 제약조건으로 하는 경우에 이 실시예를 설명하는 인코더 및 디코더를 각각 나타내는 블록도이다.

본 발명에 따르면, 블록 변환 T가 행렬로 표현될 수 있다. 1차원(1D) 입력 데이터 x에 적용될 때, 블록 변환 T는 (변환된 계수의) 출력 y를 발생한다. 이 동작은 다음과 같이 나타내어진다: y=T*x. 행렬 T는 n개의 행으로 이루어져 있고, 각각의 행은 기저 벡터(vector basis)라고 한다. 변환된 계수 y는 기저 벡터의 변환된 영역에서의 데이터 x의 표현이다. 비디오 코딩에서, 보통 제1 기저 벡터(T에서의 최상단 벡터)는 최저 주파수 성분을 갖는 벡터이다. 예를 들어, DCT 최저 주파수 성분은 DC 성분(즉, 상수)이다. 이어서, 비디오 코딩에서, 변환 계수가 양자화, 스캔, 및 엔트로피 코딩된다. 명백하게도, 기저 벡터의 순서는 변경될 수 있다는 점에서 엄격하지 않고, 엔트로피 코딩이 그에 따라 변경되는 경우, 최종적인 코딩된 비트스트림이 영향을 받아서는 안된다. 그렇지만, 최저 주파수 벡터(변동이 보다 적고 상수에 보다 가까운 것)를 블록 변환 T의 첫번째 벡터로 두는 것이 당업계의 관례이다.

주파수 성분은 통상적으로 푸리에 변환 영역에서 벡터의 주파수 분포인 것으로 이해되고 있다. 평탄한 신호(또는 벡터)의 푸리에 변환은 에너지의 대부분을 저주파수에 가지고 있는 반면, 높은 변동성을 갖는 신호는 에너지가 모든 주파수에 분포되어 있다(또는 고주파수에 더 많다).

다른 실시예에서, 최적의 KLT를 획득하기 위해 비디오 데이터가 사용된다. 이어서, 첫번째 기저 벡터의 총 변동이 임계값 미만이어야 한다. 총 변동은 각각의 계수에서 그 다음 계수를 뺀 차이의 절대값의 합이다. 그 후에, 변환이 다시 직교이도록 하기 위해 나머지 벡터가 수정된다. 얻어지는 변환이 변환 선택 방법에서 사용된다.

다른 실시예에서, KLT의 첫번째 기저 벡터는 어떤 주파수 아래에서의 그의 푸리에 변환의 에너지에 제약조건을 부과함으로써 아주 평탄해야 한다. 제약조건은 에너지가 임계값을 초과해야 한다는 것이다. 변환이 직교이도록 나머지 벡터가 수정된다. 유사한 실시예에서, 첫번째 기저 벡터는 주파수에 따른 이산 코사인이 임계값 미만이어야 한다.

다른 실시예에서, 변환이 제2 변환으로서 선택되지만, 기저 벡터가 상수(즉, 편평)이어야 한다.

도 5를 참조하면, 변환 선택을 사용하여 화상에 대한 블록 잔차 데이터를 인코딩하는 예시적인 방법이 전반적으로 참조 번호(500)로 나타내어져 있다. 방법(500)은 제어를 기능 블록(510)으로 넘기는 시작 블록을 포함한다. 기능 블록(510)은 블록 잔차 데이터를 수신하고, 제어를 기능 블록(515), 기능 블록(535) 및 기능 블록(545)으로 넘긴다. 기능 블록(515)은 DCT(discrete cosine transform)를 사용하여 블록 잔차 데이터를 변환 및 양자화하고, 제어를 기능 블록(520)으로 넘긴다. 기능 블록(535)은 평탄한 첫번째 기저를 갖는 KLT 1을 사용하여 블록 잔차 데이터를 변환 및 양자화하고, 제어를 기능 블록(540)으로 넘긴다. 기능 블록(545)은 일정한 첫번째 기저를 갖는 KLT 2를 사용하여 블록 잔차 데이터를 변환 및 양자화하고, 제어를 기능 블록(550)으로 넘긴다. 기능 블록(520)은 기능 블록(515)의 출력에 기초하여 레이트-왜곡(RD) 분석을 수행하고, 제어를 기능 블록(525)으로 넘긴다. 기능 블록(540)은 기능 블록(535)의 출력에 기초하여 레이트-왜곡(RD) 분석을 수행하고, 제어를 기능 블록(525)으로 넘긴다. 기능 블록(550)은 기능 블록(545)의 출력에 기초하여 레이트-왜곡(RD) 분석을 수행하고, 제어를 기능 블록(525)으로 넘긴다. 기능 블록(525)은 기능 블록(520, 540, 550)에 의해 수행되는 레이트-왜곡 분석의 결과의 비교를 수행하고, 이러한 결과에 기초하여 기능 블록(515, 535, 545)에 대응하는 변환들 중 특정의 변환을 선택하며, 제어를 기능 블록(530)으로 넘긴다. 기능 블록(530)은 변환 선택 및 양자화된 계수를 출력하고, 제어를 기능 블록(599)으로 넘긴다.

도 6을 참조하면, 변환 선택을 사용하여 화상에 대한 블록 잔차 데이터를 디코딩하는 예시적인 방법이 전반적으로 참조 번호(600)로 나타내어져 있다. 방법(600)은 제어를 기능 블록(610)으로 넘기는 시작 블록(605)을 포함한다. 기능 블록(610)은 변환 선택 및 양자화된 계수를 수신하고, 제어를 기능 블록(615) 및 기능 블록(620)으로 넘긴다. 기능 블록(615)은 변환 선택을 파싱(따라서 결정)하고, 제어를 기능 블록(625), 기능 블록(630) 및 기능 블록(635) 중 대응하는 기능 블록으로 넘긴다. 기능 블록(620)은 양자화된 계수를 파싱(따라서 결정)하고, 제어를 기능 블록(625), 기능 블록(630) 및 기능 블록(635) 중 대응하는 기능 블록으로 넘긴다. 기능 블록(625)은 DCT(discrete cosine transform)에 기초하여 역양자화 및 역변환을 수행하고, 제어를 기능 블록(640)으로 넘긴다. 기능 블록(630)은 평탄한 제1 기저를 갖는 KLT 1에 기초하여 역양자화 및 역변환을 수행하고, 제어를 기능 블록(640)으로 넘긴다. 기능 블록(635)은 일정한 제1 기저를 갖는 KLT 2에 기초하여 역양자화 및 역변환을 수행하고, 제어를 기능 블록(640)으로 넘긴다. 기능 블록(640)은 역변환 계수(잔차 데이터)를 출력하고, 제어를 종료 블록(699)으로 넘긴다.

도 5 및 도 6의 실시예가 변환 선택 방법에서 3개의 변환을 사용한다는 것을 잘 알 것이다. 제1 변환은 DCT이다. 제2 변환은 첫번째 기저 벡터가 평탄해야 하는 하나의 KLT이다. 제3 변환은 첫번째 기저 벡터가 일정해야 하는 다른 KLT이다.

이제부터 본 발명의 많은 부수적인 이점들/특징들 중 몇몇에 대한 설명이 제공될 것이며, 이들 중 몇몇은 이상에서 언급하였다. 예를 들어, 하나의 이점/특징은 적어도 제1 변환 및 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 특정의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 인코딩하는 비디오 인코더를 갖는 장치이고, 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 제2 변환에 대한 변환 계수가 선택된다.

다른 이점/특징은 이상에서 기술한 비디오 인코더를 갖는 장치이며, 변환 계수는 제2 변환의 첫번째 기저 벡터에 대응한다.

또 다른 이점/특징은 비디오 인코더를 갖는 장치이며, 변환 계수는, 전술한 바와 같이, 제2 변환의 첫번째 기저 벡터에 대응하고, 평탄성 제약조건이 첫번째 기저 벡터에 부과된다.

또 다른 이점/특징은 비디오 인코더를 갖는 장치이며, 변환 계수는, 전술한 바와 같이, 제2 변환의 첫번째 기저 벡터에 대응하고, 첫번째 기저 벡터에 대응하는 변환 계수의 변동이 지정된 임계값 미만으로 제약된다.

게다가, 다른 이점/특징은 비디오 인코더를 갖는 장치이며, 변환 계수는, 전술한 바와 같이, 제2 변환의 첫번째 기저 벡터에 대응하고, 주어진 주파수 아래에서의 푸리에 변환의 에너지가 지정된 임계값을 초과하고, 푸리에 변환이 제2 변환에 대응한다.

게다가, 다른 이점/특징은 비디오 인코더를 갖는 장치이며, 변환 계수는, 전술한 바와 같이, 제2 변환의 첫번째 기저 벡터에 대응하고, 첫번째 기저 벡터에 대응하는 변환 계수는 상수이다.

또한, 다른 이점/특징은 이상에서 기술한 비디오 인코더를 갖는 장치이며, 제1 변환은 이산 코사인 변환이다.

본 발명의 이들 및 기타 특징들 및 이점들은 본 명세서에서의 교시에 기초하여 당업자에 의해 용이하게 확인될 수 있다. 본 발명의 교시가 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있다는 것을 잘 알 것이다.

가장 양호하게는, 본 발명의 교시가 하드웨어와 소프트웨어의 조합으로서 구현된다. 게다가, 소프트웨어는 프로그램 저장 장치에 유형으로 구현되는 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은 임의의 적당한 아키텍처를 포함하는 기계에 업로드되어 이 기계에 의해 실행될 수 있다. 양호하게는, 이 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 이 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령어 코드(microinstruction code)도 포함할 수 있다. 본 명세서에 기술된 다양한 프로세스 및 기능이, CPU에 의해 실행될 수 있는, 마이크로명령어 코드의 일부이거나 애플리케이션 프로그램의 일부이거나, 이들의 임의의 조합일 수 있다. 그에 부가하여, 부가의 데이터 저장 장치 및 인쇄 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 연결되어 있을 수 있다.

또한, 첨부 도면에 도시된 시스템 구성요소들 및 방법들 중 일부가 양호하게는 소프트웨어로 구현되기 때문에, 시스템 구성요소들 또는 프로세스 기능 블록들 간의 실제 연결이 본 발명이 프로그램되는 방식에 따라 다를 수 있다는 것을 잘 알 것이다. 본 명세서의 교시가 주어지면, 당업자라면 본 발명의 이들 및 유사한 구현들 또는 구성들을 생각할 수 있을 것이다.

예시적인 실시예들이 첨부 도면을 참조하여 본 명세서에 기술되어 있지만, 본 발명이 이들 정확한 실시예로 제한되지 않고 또 다양한 변경 및 수정이 본 발명의 범위 또는 사상을 벗어나지 않고 당업자에 의해 행해질 수 있다는 것을 잘 알 것이다. 모든 이러한 변경 및 수정이 첨부된 청구항들에 기술된 본 발명의 범위 내에 포함되는 것으로 보아야 한다.

Claims

적어도 제1 변환 및 상기 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 상기 특정의 변환을 블록의 잔차에 적용함으로써 화상 내의 적어도 블록을 인코딩하는 비디오 인코더(300)를 포함하고, 상기 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 상기 제2 변환에 대한 변환 계수들이 선택되는 장치.
제1항에 있어서, 상기 변환 계수들은 상기 제2 변환의 첫번째 기저 벡터에 대응하는 장치.
제2항에 있어서, 상기 첫번째 기저 벡터에 평탄성 제약조건(smoothness constraint)이 부과되는 장치.
제2항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들의 변동은 지정된 임계값 미만으로 제약되는 장치.
제2항에 있어서, 주어진 주파수 아래에서의 푸리에 변환의 에너지가 지정된 임계값을 초과하고, 상기 푸리에 변환은 상기 제2 변환에 대응하는 장치.
제2항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들은 상수인 장치.
제1항에 있어서, 상기 제1 변환은 이산 코사인 변환인 장치.
비디오 인코더에서의 방법으로서,
적어도 제1 변환 및 상기 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택(525)하고 상기 특정의 변환을 블록의 잔차에 적용(515, 535, 545)함으로써 화상 내의 적어도 블록을 인코딩하는 단계를 포함하고, 상기 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 상기 제2 변환에 대한 변환 계수들이 선택되는 방법.
제8항에 있어서, 상기 변환 계수들은 상기 제2 변환의 첫번째 기저 벡터에 대응하는(535, 545) 방법.
제9항에 있어서, 상기 첫번째 기저 벡터에 평탄성 제약조건이 부과되는(535) 방법.
제9항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들의 변동은 지정된 임계값 미만으로 제약되는 방법.
제9항에 있어서, 주어진 주파수 아래에서의 푸리에 변환의 에너지가 지정된 임계값을 초과하고, 상기 푸리에 변환은 상기 제2 변환에 대응하는 방법.
제9항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들은 상수인(545) 방법.
제8항에 있어서, 상기 제1 변환은 이산 코사인 변환인 방법.
화상 내의 적어도 블록에 대한 변환 계수들 및 변환 표시자 - 상기 변환 표시자는 적어도 제1 변환 및 상기 제1 변환과 상이한 제2 변환 중 어느 것이 상기 블록을 인코딩하는 데 사용되었는지를 나타냄 - 를 수신하고 상기 변환 표시자에 의해 나타내어져 있는 바와 같이 상기 제1 변환과 상기 제2 변환 중 하나의 변환을 상기 블록의 잔차에 적용함으로써 상기 블록을 디코딩하는 비디오 디코더(400)를 포함하고, 상기 비디오 디코더에 존재하는 디블록킹 필터에 응답하여 상기 제2 변환에 대한 변환 계수들이 결정되는 장치.
제15항에 있어서, 상기 변환 계수들은 상기 제2 변환의 첫번째 기저 벡터에 대응하는 장치.
제16항에 있어서, 상기 첫번째 기저 벡터에 평탄성 제약조건이 부과되는 장치.
제16항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들의 변동은 지정된 임계값 미만으로 제약되는 장치.
제16항에 있어서, 주어진 주파수 아래에서의 푸리에 변환의 에너지가 지정된 임계값을 초과하고, 상기 푸리에 변환은 상기 제2 변환에 대응하는 장치.
제16항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들은 상수인 장치.
제15항에 있어서, 상기 제1 변환은 이산 코사인 변환인 장치.
비디오 디코더에서의 방법으로서,
화상 내의 적어도 블록에 대한 변환 계수들 및 변환 표시자 - 상기 변환 표시자는 적어도 제1 변환 및 상기 제1 변환과 상이한 제2 변환 중 어느 것이 상기 블록을 인코딩하는 데 사용되었는지를 나타냄 - 를 수신(610)하고 상기 변환 표시자에 의해 나타내어져 있는 바와 같이 상기 제1 변환과 상기 제2 변환 중 하나의 변환을 상기 블록의 잔차에 적용(625, 630, 635)함으로써 상기 블록을 디코딩하는 단계를 포함하고, 상기 비디오 디코더에 존재하는 디블록킹 필터에 응답하여 상기 제2 변환에 대한 변환 계수들이 결정되는 방법.
제22항에 있어서, 상기 변환 계수들은 상기 제2 변환의 첫번째 기저 벡터에 대응하는(630, 635) 방법.
제23항에 있어서, 상기 첫번째 기저 벡터에 평탄성 제약조건이 부과되는(630) 방법.
제23항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들의 변동은 지정된 임계값 미만으로 제약되는 방법.
제23항에 있어서, 주어진 주파수 아래에서의 푸리에 변환의 에너지가 지정된 임계값을 초과하고, 상기 푸리에 변환은 상기 제2 변환에 대응하는 방법.
제23항에 있어서, 상기 첫번째 기저 벡터에 대응하는 상기 변환 계수들은 상수인(635) 방법.
제15항에 있어서, 상기 제1 변환은 이산 코사인 변환인 방법.
비디오 신호 데이터가 인코딩되어 있는 컴퓨터 판독가능 저장 매체로서,
적어도 제1 변환 및 상기 제1 변환과 상이한 제2 변환 중에서 특정의 변환을 선택하고 상기 특정의 변환을 화상 내의 적어도 블록의 잔차에 적용함으로써 인코딩된 상기 블록을 포함하고, 상기 블록을 인코딩하는 데 사용되는 비디오 인코더에 존재하는 디블록킹 필터에 응답하여 상기 제2 변환에 대한 변환 계수들이 선택되는 컴퓨터 판독가능 저장 매체.