KR20120124058A - 텍스처 패턴 적응형 파티션 블록 변환 - Google Patents

Abstract

본 발명은 파티션 블록 변환을 이용하여 이미지의 이미지 블록을 인코딩하는 것과 관련된다. 본 발명자들은 제1 파티션의 픽셀들에 텍스처 패턴 연관 가역 매핑을 적용하면, 상기 텍스처 패턴 연관 가역 매핑이 연관된 현재의 텍스처 패턴에 따라 상기 이미지 블록을 분할하여 얻은 상기 제1 분할이 요구되는 제1 1차원 변환의 최대 횟수가 상기 이미지 블록의 열(columns)의 수를 초과하지 않을 뿐 아니라 요구되는 제2 1차원 변환의 최대 횟수를 역시 상기 이미지 블록의 행(rows)의 수를 초과하지 않도록 제한하게 한다. 요구되는 최대 1차원 변환을 제한하면 더 효율적인 하드웨어 구현을 가능하게 하고 인코딩 성능을 향상시키며 뿐만 아니라 다수의 스트립, 픽셀 분포가 매우 비대칭적인 텍스처 패턴 및 무지향성 텍스처 패턴 중 적어도 하나를 포함하는 텍스처 패턴에 따라 더 많은 파티션을 가능하게 해준다.

Description

텍스처 패턴 적응형 파티션 블록 변환{TEXTURE-PATTERN-ADAPTIVE PARTITIONED BLOCK TRANSFORM}

본 발명은 이미지를 인코딩하는 기술 분야에서 만들어졌다. 더 정확히 말하면, 본 발명은 파티션 블록 변환(partitioned block transform)을 이용하여 이미지의 이미지 블록을 인코딩하는 것에 관한 것이다.

이미지를 인코딩하기 위해, 이산 코사인 변환(DCT) 또는 이산 웨이브렛 변환(DWT)을 이용하여 이미지의 이미지 블록을 변환하는 것이 본 기술 분야에서 잘 알려져 있다.

예를 들면, DCT는 일반적으로 하이브리드 비디오 코딩 프레임워크에 사용되어 공간 도메인의 리던던시(redundancy)를 활용하여 상관성이 높은 신호에 대한 에너지 집중(energy compaction)이 우수할 뿐 아니라, 분리가능하면서, 대칭적이고 직교적이라는 특성을 보여준다.

현재의 이미지/비디오 코딩 표준은 통상 2차원 분리가능 DCT 또는 DWT를 이용하여 코딩하는 것으로, 그의 기저 함수는 수평 배향의 1차원 기저 함수와 수직 배향의 동일한 함수들의 세트를 곱함으로써 생성될 수 있다.

예를 들면, NxN 블록 예의 경우, 먼저 원래의 픽셀들에 대해 수직으로 N번의 N-포인트 1차원 DCT 연산(제1 1차원 변환)이 수행되어 NxN 개의 중간 계수들(intermediate coefficients)을 생성하고; 그 다음에 그 중간 계수들에 대해 수평으로 N번의 N-포인트 1차원 DCT 연산(제2 1차원 변환)이 수행되어 더 추가로 변환된 계수를 생성한다. 이러한 종류의 방식은 정확히 수평 및 수직 배향의 이미지 텍스처 디테일에 대해서는 잘 수행하는 반면, 다른 에지 배향 주위에 시각적 품질을 크게 악화시키는 링잉 아티팩트(ringing artifacts)가 나타나는 경향이 있다.

이러한 문제는 C. L Chang 및 B. Girod 에 의한 "Directional-Adaptive Partitioned Block Transform for Image Coding", ICIP 2008 에서 확인되고 다루어진다. 이 논문에서, 저자는 방향 적응형 파티션 블록 변환(direction-adaptive partitioned block transform: DA-PBT)을 제안했는데 이에 따르면 이미지 블록은 방향성 파티션들(directional partitions)로 분할되며, 이들 파티션 경계들은 제1 1차원 변환의 방향과 정렬되고 제2 1차원 변환의 길이는 이들이 파티션 경계(partition boundaries)를 걸쳐 연장하지 않도록 제한된다. 이렇게 하면 1차원 변환에서 요구되는 최대 길이가 확실히 N이 된다.

비록 1차원 변환의 요구되는 최대 길이를 제한할지라도, C. L Chang 및 B. Girod 가 제안한 DA-PBT는 N번보다 많은 제1 1차원 변환 또는 N번보다 많은 제2 1차원 변환을 필요로 할 수 있다. 또한, DA-PBT를 적용할 경우, 이미지 블록에 방향성이 존재할 필요가 있다.

본 발명의 발명자들은 제1 파티션의 픽셀들에 텍스처 패턴 연관 가역 매핑(texture-pattern associated invertible mapping)을 적용함으로써 이미지 블록의 적어도 일부에 대한 상기 제1 파티션의 픽셀들을 누적하면, 요구되는 최대 제1 1차원 변환 횟수를 N으로 제한할 뿐 아니라 요구되는 최대 제2 1차원 변환 횟수를 역시 N으로 제한하는 것이 가능하게 되며, 상기 제1 파티션은 상기 텍스처 패턴 연관 가역 매핑이 연관된 현재의 텍스처 패턴에 따라 상기 이미지 블록을 분할하여 얻어진다는 것을 인지했다.

이러한 픽셀 누적은 이와 같이 요구되는 최대 1차원 변환을 제한하여 더 효율적인 하드웨어 구현을 가능하게 하고 또한 인코딩 성능을 향상시키는 것뿐만 아니라 다수의 스트립들(strips), 픽셀 분포가 매우 비대칭적인 텍스처 패턴 및 무지향성(non-directional) 텍스처 패턴 중 적어도 하나를 포함하는 텍스처 패턴에 따라 더 많은 분할을 가능하게 한다.

그러므로, 이미지의 이미지 블록을 인코팅하는 방법 및 장치가 제안되며, 상기 방법은 제1 파티션의 픽셀들에 텍스처 패턴 연관 가역 매핑(texture-pattern associated invertible mapping)을 적용하여 상기 이미지 블록의 적어도 일부의 상기 제1 파티션의 픽셀들을 누적하는 단계 - 상기 제1 파티션은 상기 텍스처 패턴 연관 가역 매핑이 연관된 현재의 텍스처 패턴에 따라 상기 이미지 블록을 분할하여 얻음 - 및 상기 현재의 텍스처 패턴의 재구성 또는 검색을 가능하게 하는 데이터를 엔트로피 인코딩(entropy encoding)하는 단계를 포함한다. 상기 제안된 장치는 상기 픽셀 누적 단계를 수행하도록 구성된 수단 및 상기 현재의 텍스처 패턴의 재구성 또는 검색을 가능하게 하는 데이터를 엔트로피 인코딩하도록 구성된 수단을 포함한다.

상기 이미지 블록이 N이 M과 같거나 큰 NxM 개의 픽셀들을 포함하는 일 실시예에서, 상기 제안된 인코딩 방법은 현재의 텍스처 패턴과 연관된 현재의 텍스처 패턴 적응형 파티션(current texture-pattern-adaptive partition)에 따라 상기 이미지 블록의 상기 적어도 일부를 제1 서브세트의 픽셀들과 적어도 제2 서브세트의 픽셀들로 분할하는 단계, 텍스처 패턴 연관 스캔 순서를 이용하여 상기 제1 서브세트의 픽셀들을 픽셀 시퀀스들 중 메타 시퀀스(meta-sequence)로 배열하는 단계 - 상기 텍스처 패턴 연관 스캔 순서는 상기 현재의 텍스처 패턴과 연관되고 각각의 상기 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -, 최대 M개의 추가의 픽셀 시퀀스들 중 추가의 메타 시퀀스를 생성하는 단계 - 각각의 상기 추가의 픽셀 시퀀스들은 상기 픽셀 시퀀스들 중 하나 또는 상기 메타 시퀀스의 서브 시퀀스의 연속적인 픽셀 시퀀스들(a concatenation of pixel sequences)을 포함하고, 각각의 상기 추가의 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -, 상기 추가의 픽셀 시퀀스들을 변환하여 계수 시퀀스들을 생성하는 단계, 상기 계수 시퀀스들에 대한 1차원 변환을 통해 추가의 계수 시퀀스들을 생성하는 단계, 상기 추가의 계수 시퀀스들에 포함된 계수들을 양자화하고 스캐닝하여 다른 추가의 계수 시퀀스를 생성하는 단계 - 인코딩 스캔 순서에 따라 스캐닝이 수행됨 -, 상기 다른 추가의 계수 시퀀스를 엔트로피 인코딩하는 단계 및 상기 현재의 텍스처 패턴과 연관된 표시자(indication)를 엔트로피 인코딩하는 단계 - 상기 표시자는 상기 현재의 텍스처 패턴의 검색 또는 재구성을 가능하게 하는 기준임 - 를 포함한다.

상기 예시적인 실시예에서, 상기 방법은 상기 현재의 텍스처 패턴 적응형 파티션이 다수의 스트립(strips)을 포함하는 텍스처 패턴, 비대칭적인 텍스처 패턴, 또는 무지향성(non-directional) 텍스처 패턴과 연관될 수 있도록 구성된다.

상기 적어도 제2 서브세트의 픽셀들은 상기 제1 서브세트의 픽셀들과 유사하게 처리될 수 있지만, 인코딩 스캔 순서는 다를 수 있다. 또한 상기 제1 서브세트와 상기 적어도 제2 서브세트 사이에 계수 예측이 적용될 수 있다.

상기 분할이 일어나는 상기 적어도 일부는 에지 검출, 세그멘테이션 또는 세기(intensity) 분포의 분류에 기인할 수 있다.

본 발명은 이미지의 인코딩된 이미지 블록을 디코딩하는 방법을 더 제안하며, 상기 이미지 블록은 N이 M과 같거나 큰 NxM 개의 픽셀들을 포함하고, 상기 방법은, (a) 인코딩된 제1 계수들의 시퀀스를 엔트로피 디코딩하는 단계, (b) 현재의 텍스처 패턴과 연관된 인코딩된 표시자를 엔트로피 디코딩하고 상기 표시자를 이용하여 메모리에서 검색하거나 상기 표시자에 기초하여 재구성하여 상기 현재의 텍스처 패턴을 생성하는 단계, (c) 디코딩 스캔 순서를 이용하여 상기 제1 계수들을 최대 M개의 계수 시퀀스들 중 메타 시퀀스로 배열하는 단계 - 각각의 상기 최대 M개의 계수 시퀀스들은 최대 N개의 제1 계수들을 포함함 -, (d) 상기 단계 (c)에서 상기 제1 계수들을 배열하기 전, 그 동안 또는 그 후에 상기 제1 계수들을 역양자화하는 단계, (e) 상기 최대 M개의 역양자화된 계수 시퀀스들에 대한 1차원 변환을 통해 최대 M개의 추가의 계수 시퀀스들을 생성하는 단계, (f) 상기 최대 M개의 추가의 계수 시퀀스들을 변환하여 최대 M개의 제1 픽셀 시퀀스들을 생성하는 단계, 및 (g) 상기 현재의 텍스처 패턴과 연관된 분포 패턴(distribution pattern)을 이용하여 상기 생성된 픽셀들을 상기 이미지 블록에 분포하는 단계를 수행함으로써 상기 이미지 블록의 적어도 일부의 제1 서브세트를 디코딩하는 단계를 포함한다.

일 실시예에서, 상기 디코딩 방법은 제2 계수들의 시퀀스에 상기 단계((a), (b), (c), (d), (e) 및 (f))를 적용하여 최대 M개의 제2 픽셀 시퀀스들을 생성하고 상기 분포 패턴을 이용하여 상기 이미지 블록의 상기 적어도 일부의 나머지를 상기 최대 M개의 생성된 제2 픽셀 시퀀스들로 채움으로써 상기 인코딩된 이미지 블록의 상기 적어도 일부의 제2 서브세트를 디코딩하는 단계를 더 포함하며, 상기 나머지는 상기 제1 서브세트를 생성한 후의 상기 이미지 블록의 상기 적어도 일부의 나머지 빈 부분이다.

또한, 이미지의 인코딩된 이미지 블록의 적어도 일부의 제1 서브세트를 디코딩하는 대응 장치가 제안되며, 상기 적어도 일부는 텍스처 패턴 적응형 파티션 블록 변환을 이용하여 인코딩되고 상기 이미지 블록은 N이 M과 같거나 큰 NxM 개의 픽셀들을 포함한다. 상기 디코딩 장치는 인코딩된 제1 계수들의 시퀀스를 엔트로피 디코딩하는 디코딩 수단 - 상기 디코딩 수단은 현재의 텍스처 패턴과 연관된 인코딩된 표시자를 엔트로피 디코딩하고, 상기 표시자를 이용하여 메모리에서 검색하거나 상기 표시자에 기초하여 재구성하여 상기 현재의 텍스처 패턴을 생성하도록 구성됨 -, 디코딩 스캔 순서를 이용하여 상기 제1 계수들을 최대 M개의 계수 시퀀스들 중 메타 시퀀스로 배열하도록 구성된 제1 배열 수단 - 각각의 상기 최대 M개의 계수 시퀀스들은 최대 N개의 제1 계수들을 포함함 -, 상기 제1 계수들을 역양자화하는 역양자화 수단, 상기 최대 M개의 역양자화된 계수 시퀀스들에 대한 1차원 변환을 통해 최대 M개의 추가의 계수 시퀀스들을 생성하는 수단, 상기 최대 M개의 추가의 계수 시퀀스들을 변환하여 최대 M개의 제1 픽셀 시퀀스들을 생성하는 수단, 상기 현재의 텍스처 패턴과 연관된 분포 패턴을 이용하여 상기 생성된 제1 픽셀 시퀀스들의 픽셀들을 상기 이미지 블록에 분포함으로써 상기 이미지 블록의 상기 적어도 일부에 포함된 픽셀들의 서브세트를 생성하는 제2 배열 수단을 포함한다.

본 발명은 광학 디스크, 고상 메모리 또는 하드 디스크와 같은 물리적인 저장 매체를 더 추가로 제안하며, 상기 물리적인 저장 매체는 인코딩된 계수와 인코딩된 마스크 정보의 시퀀스를 포함하는 비트 스트림을 보유하며, 디코딩 및 역변환에 의해 상기 인코딩된 계수들로부터 픽셀 시퀀스들이 생성될 수 있으며 상기 마스크 정보는 이미지 블록의 픽셀들을 선택하는데 사용된 마스크를 재구성하고 상기 마스크와 연관된 분포 패턴을 결정하게 하며, 상기 분포 패턴은 상기 이미지 블록에 픽셀 시퀀스의 픽셀들을 분포하게 한다.

다른 유리한 실시예의 특징은 종속 청구항에 명시된다.

본 발명의 예시적인 실시예는 도면에 예시되며 하기의 설명에서 더 상세히 기술된다. 이러한 예시적인 실시예는 단지 본 발명의 상세한 설명을 위해서만 기술되며, 본 발명의 개시내용, 청구범위에 규정된 범주 또는 정신을 제한하지 않는다.
도 1은 텍스처 패턴을 도시한 예시적인 이미지 블록을 도시한다.
도 2는 예시적인 이진 분할 마스크를 도시한다.
도 3a는 블록을 서브블록들로 분할하고 서브블록들의 픽셀들을 누적하여 서브블록들을 변경하는 제1 예를 도시한다.
도 3b는 블록을 서브블록들로 분할하고 서브블록들의 픽셀들을 누적하여 서브블록들을 변경하는 다른 제2 예를 도시한다.
도 4a 내지 도 4c는 가역 2단계 텍스처 패턴 의존 매핑을 이용하여 블록의 서브세트의 픽셀들을 누적하는 제1 예를 도시한다.
도 5a 내지 도 5c는 가역 2단계 텍스처 패턴 의존 매핑을 이용하여 블록의 서브세트의 픽셀들을 누적하는 다른 제2 예를 도시한다.
도 6은 텍스처 패턴 연관 스캔 원리에 대한 예시적인 실시예를 도시한다.
도 7은 제1 및 제2 변환 이후의 DC 계수(들)를 정사각형으로 나타낸 변환 절차의 일예를 도시한다.
도 8은 인코딩 과정 및 디코딩 과정에서 이 두 과정의 대응 매핑을 표시한 정보 흐름의 일예를 도시한다.
도 9는 예시적인 이진 마스크를 이용하여 예시적인 이미지 블록을 분할하여 얻은 두 개의 예시적인 파티션들에 대한 상이한 예시적인 인코딩 스캔 순서를 도시한다.
도 10은 인코더측에서 인코딩을 위해 예시적인 텍스처 패턴 적응형 파티션 블록 변환을 이용하여 인코딩하는 도면을 도시한다.
도 11은 디코더측에서의 대응하는 이미지 블록 디코딩의 예시적인 흐름도를 도시한다.

본 발명은 대응하여 구성된 처리 장치를 포함하는 임의의 전자 장치에서 실현될 수 있다. 예를 들면, 본 발명은 텔레비전, 이동 전화기, 개인용 컴퓨터, 디지털 스틸 카메라, 또는 디지털 비디오 카메라에서 실현될 수 있다.

이미지의 이미지 블록을 인코딩하는 방법의 예시적인 실시예가 제공되며, 상기 이미지 블록은 다수의 행(rows)과 다수의 열(columns)을 포함하며 상기 방법은 현재의 텍스처 패턴과 연관된 현재의 텍스처 패턴 적응형 파티션(current texture-pattern-adaptive partition)에 따라 이미지 블록의 적어도 일부를 제1 서브세트의 픽셀들과 적어도 제2 서브세트의 픽셀들로 분할하여 얻은 상기 제1 서브세트의 픽셀들을 인코딩하는 단계를 포함한다. 상기 예시적인 실시예에서, 상기 제1 서브세트를 인코딩하는 단계는 제1 및 제2 텍스처 패턴 연관 가역 매핑(texture-pattern associated invertible mapping)을 이용하여 픽셀 시퀀스들의 메타 시퀀스를 생성하는 단계 - 메타 시퀀스의 픽셀 시퀀스들의 수는 상기 행의 수를 초과하지 않고, 각각의 픽셀 시퀀스에서 픽셀들의 수는 상기 열의 수를 초과하지 않거나, 상기 메타 시퀀스의 픽셀 시퀀스들의 수는 상기 열의 수를 초과하지 않고, 각각의 픽셀 시퀀스에서 픽셀들의 수는 상기 행의 개수를 초과하지 않음 -, 생성된 픽셀 시퀀스에 제1 및 제2 1차원 변환을 적용하여 계수들의 시퀀스를 생성하는 단계, 계수들의 시퀀스에 포함된 계수들을 양자화하고 스캐닝하는 단계 - 인코딩 스캔 순서에 따라 스캐닝이 수행됨 -, 양자화되고 스캐닝된 계수들을 엔트로피 인코딩하는 단계 및 현재의 텍스처 패턴의 재구성 또는 검색을 가능하게 하는 데이터를 엔트로피 인코딩하는 단계를 포함하며, 상기 제1 및 제2 텍스처 패턴 연관 가역 매핑은 현재의 텍스처 패턴과 연관된다.

더 상세히 말하면, 화상 내 예시적인 사각형 블록은 여러 비디오 객체 또는 몇 개의 텍스처를 포함할 수 있다. 이러한 현상은, 특히 수직/수평 이외의 방향을 따라 다수의 스트립 또는 에지가 발생할 때, 전통적인 DCT 변환 이후에 많은 넌제로 계수들을 야기시킬 수 있다. 따라서, 코딩 효율이 낮다. 다수의 스트립을 갖는 방향성 텍스처의 전형적인 예가 도 1에 도시되어 있다.

분할 규칙이 주어진다면, 예시적인 이미지 블록의 각 픽셀이 둘 이상의 서브그룹들 중 하나에 할당된다. 하기의 설명에서, 서브그룹들의 수는 예시적으로 2로 설정된다. 그러나, 당업자라면 둘보다 많은 서브그룹들에 대해 분할이 허용된 경우 분할 및 누적의 원리를 확장하는 방법을 즉시 이해할 것이다.

분할 절차는 블록과 크기가 동일한 하나 이상의 이진 마스크에 의해 실현될 수 있다. 예를 들면, 도 2에서 마스크는 블록의 상위 절반부 내의 픽셀들이 하나의 파티션에 속하는 반면 하위 절반 내의 픽셀들은 다른 파티션에 속함을 의미한다. 그러므로, n개의 서브그룹에 가능한 분할 규칙은 n-진(n-ary) 마스크와 일대일 매핑 관계를 갖는다. 따라서, 하기에 기술된 예시적인 이진 분할 규칙은 이진 마스크와 일대일 매핑 관계를 갖는다. n이 2보다 큰 경우, n-진 마스크는 이진 마스크들의 세트로 나타낼 수 있다.

각각의 파티션(서브블록) 내 픽셀들의 수는 같지 않을 수 있다. 이것은 비대칭적인 분할이 허용된다는 것을 의미한다. 이렇게 함으로써, 블록 내의 패턴 경계가 더 정확하게 검출되어 각 파티션(서브블록) 내의 에너지 집중도(energy concentration)를 향상시킬 수 있다.

예시적인 일 실시예에서, 마스크는 인코더뿐만 아니라 디코더측에서도 미리 정의된다. 예를 들면, 상세한 설명의 마지막에 있는 테이블에 포함된 예시적인 이진 마스크는 하나 이상의 스트립을 갖는 수평, 수직, 대각 및 다른 패턴 배향(pattern orientations)의 고려사항을 표현하며, 예를 들어, 인코딩된 마스크의 개수만큼 인코딩하여 얻은 인코딩된 데이터에서 참조될 수 있다.

또한, 블록 내의 패턴들을 분석하여 새로운 마스크가 유도될 수 있다. 가능한 방법으로는 이것으로 제한되지 않지만 에지 검출, 통계 분석, 변환 도메인 분석 등이 있다. 그런 다음, 그와 같이 유도된 새로운 마스크는 맨 처음 사용될 때 인코딩되고 이후에 새로운 마스크에 부여된 새로운 참조 부호 또는 번호로 언급될 수 있다.

미리 정의된 패턴들의 리스트로부터 인덱싱하거나, 또는 이미지 특성을 국부적으로 분석하여 획득한 마스크 정보는 저장되고 정확한 디코딩을 위해 디코더에 전송되어야 한다. 전자의 접근법의 경우, 마스크의 인덱스만 송신할 필요가 있으며; 후자의 경우 채택된 마스크의 형태 그 자체가 적어도 맨 처음 사용되는 경우에는 전송되어야 한다. 이러한 두 가지 접근법에 대해서는 도 8에서 간략하게 설명된다.

분할 후, 각각의 서브그룹들 내의 픽셀들이 누적되어 후속 변환이 넌제로 계수들의 수를 줄여준다는 점에서 유익하도록 그 픽셀들이 이동된다. 이러한 이동은 적용된 분할 규칙에 특정하거나 적용된 분할 규칙과는 무관한 디폴트 가역 매핑일 수 있는 가역 매핑에 의해 성취되며, 예를 들면, 각각의 서브 파티션(서브그룹) 내의 픽셀들은 블록의 상한계(upper bound)를 향해 이동된다(빈 열들은 건너뛸 것이다). 이렇게 함으로써, 블록 내의 패턴들이 어느 정도 제거되고 세기가 유사한 픽셀들이 합쳐진다. 이것은 에너지 집중도에 좋다. 블록 병합의 예는 도 3a 및 도 3b에 도시되어 있다.

본 명세서에서 예시적으로 기술된 분할 및 병합 동작은 실제로 하나의 단일 블록으로부터 둘 이상의 보조 블록을 생성하는 더 일반적인 프레임워크로, 각각의 보조 블록 내부에는 더 균일한 픽셀 세기 분포가 존재한다.

하기에서는, 분할 규칙 특정 가역 매핑(partition rule-specific invertible mapping)의 일예가 기술된다. 이 예는 두 단계를 포함하고 소정의 방위 또는 방향(수직, 수평, 대각, 곡선 등)을 보이는 텍스처 패턴과 관련된 모든 파티션 또는 마스크에 적용가능하다.

예시적인 넌디폴트 가역 매핑의 제1 단계에서, 서브블록 내의 픽셀들은 마스크의 패턴 배향으로 표시한 방향을 따라 이동된다. 이 단계의 예는 도 4a 및 도 5a에 제공되어 있다.

마스크의 방향은 수직, 수평, 대각 또는 그 밖의 다른 방향일 수 있다.

상기 제1 단계 후, 도 4b 및 도 5b에 도시된 바와 같이, (길이가 다를 수 있는) 일련의 패턴 스트립들이 획득되고, 중간 어레이(intermediate array)로 구성된다. 중간 어레이의 열에 있는 이들 스트립들의 순서는 주어진 마스크에 대한 고정 패턴 스캔 원리(예를 들어, 평균적으로 가장 작은 x 좌표로 표시된 패턴의 최좌측 스트립로부터 최우측 스트립으로; 또한 평균적으로 가장 작은 y 좌표로 표시된 패턴의 최상단 스트립으로부터, 최하단 스트립으로)에 의해 결정된다. 이러한 스캔 원리의 예가 도 6에 도시되어 있다.

이와 같은 예시적인 넌디폴트 가역 매핑의 제1 단계는 일련의 중간 픽셀 시퀀스들(스트립들의 중간 어레이라고도 함)를 생성하며 여기서 각각의 중간 픽셀 시퀀스 또는 스트립은 이미지 블록이 N*N 픽셀을 포함하는 경우 최대 N개의 픽셀을 포함하지만, 그 시리즈(중간 어레이)에 포함된 중간 픽셀 시퀀스들(스트립들)의 수는 반드시 최대 N으로 제한되는 것은 아니다.

그러므로, 예시적인 넌디폴트 가역 매핑은 제2 단계를 포함하며, 그 후 상기 제2 단계로부터 얻은 추가적인 시리즈 내의 픽셀 시퀀스들의 수가 N보다 크지 않다는 것이 보장된다.

제2 단계에서, 시리즈에 포함된 중간 픽셀 시퀀스들의 서브 시리즈는 서브 시리즈에 포함된 중간 픽셀 시퀀스들을 연결(concatenation)하여 합쳐진다. 이러한 연결은 연결하여 얻은 각 픽셀 시퀀스가 계속 N개보다 많은 픽셀을 포함하지 않는다는 제약조건 하에서 수행된다.

다시 말하면, 제2 단계에서 중간 어레이의 각각의 스트립은 중간 어레이의 일측에서 타측으로 하나의 열에 순차적으로 삽입된다. 만일 현재 열의 시퀀스의 마지막에 다음 스트립을 부가하여 이 시퀀스의 길이가 N보다 크게 되면, 이 스트립은 새로운 열을 시작하는데 사용될 것이다. 그 다음, 다른 후속 스트립을 부가하여 이 새로운 열에 포함된 픽셀들의 수가 N보다 크게 할 때까지 후속 스트립들이 이 새로운 열의 마지막에 다시 순차적으로 부가된다. 이러한 동작은 중간 어레이 내의 모든 스트립들이 채워질 때까지 지속된다. 이러한 동작의 출력은 열의 길이가 N보다 크지 않는 2차원 블록이다. 제2 단계의 결과예가 도 4c 및 도 5c에 도시되어 있다.

분할을 통해 얻은 서브블록들이 모두 적어도 N*N/4 픽셀을 포함하는 것을 보장하는 분할 규칙에서는, 제2 단계가 최대 N개의 픽셀 시퀀스를 포함하는 추가의 시리즈를 생성하며 각각의 상기 N개의 픽셀 시퀀스가 최대 N개의 재배열된 픽셀들을 포함하는 것이 보장될 수 있다.

만일 마스크에 대한 방향이 명확하지 않으면, 디폴트 이동 동작(상한계를 향한 이동)이 수행된다.

블록 어셈블링 동작 후, 어셈블링된 서브블록들에 2차원 변환, 예를 들면, 2차원 DCT 변환이 개별적으로 적용된다. 2차원 변환의 제1 1차원 변환은 픽셀 어셈블링의 제1 단계의 이동 동작이 패턴 방향에 따라 수행되므로 패턴 방향에 따라 수행되는 제1 1차원 변환에 대응하게 수직으로 수행된다. 제1 1차원 변환 후, 결과적인 중간 계수들은 블록의 좌측으로 이동되며, 그런 다음 제2 1차원 변환이 수평으로 수행된다. 변환 절차의 일예가 도 7에 도시되어 있으며, 제1 및 제2 변환 후의 DC 계수(들)는 개별적으로 정사각형으로 표시된다.

2단계 변환 후의 이들 두 서브블록들 사이의 상관성을 더 조사하기 위해, 서브블록들 사이의 DC(AC) 계수들의 예측치 또한 사용될 수 있으며, 즉, 제1 파티션의 계수값들이 제2 파티션에서 유사 위치에 있는 계수값들의 예측치로 사용될 수 있으며, 여기서 제1 파티션의 예측치에 대한 제2 파티션의 잔여분은 더 처리, 예를 들어, 양자화되고, 지그재그 스캐닝되고 엔트로피 인코딩된다.

지그재그 스캔과 엔트로피 코딩은 서브블록 또는 잔여분에서 개별적으로 처리된다. 예를 들면, 만일 도 9의 마스크가 사용된다면, 파티션 1과 2에서 변환 계수의 스캔 순서는 도 9에 도시된 바와 같이 다르게 설계될 수 있다. 이러한 두 파티션에 대한 엔트로피 코딩 방법은 이것으로 제한되지 않지만 임의의 엔트로피 코딩 방식, 예를 들어, 허프만 코딩, CAVLC, CABAC 등을 포함하며 출력 비트 스트림이 물리적인 저장 매체, 예를 들어, DVD 또는 BD와 같은 광학 디스크, 플래시 또는 하드 디스크 드라이브와 같은 고상 저장 매체에 기록되고, 무선 또는 유선으로 전송되거나 브로드캐스팅된다. 출력 비트 스트림은 미리 정의된 분할 규칙을 지칭하는 데이터 또는 분할 마스크의 재구성 및 어셈블링 단계에서 누적을 위해 사용된 대응하는 가역 매핑의 역동작을 가능하게 하는 데이터의 코드를 포함한다.

어셈블링 동작 및 변환 및 이들의 역동작에 대한 흐름도가 도 11에 도시되어 있다. 디코딩 처리에 대해서는 다음 단락에서 설명될 것이다.

이 단계의 입력은 압축된 비트스트림이다. 이 단계의 출력은 스캐닝되고 양자화된 계수, (만일 미리 정의된 패턴을 이용하는 경우) 마스크 인덱스/(만일 국부 분석을 이용하는 경우) 마스크, 및 다른 측면의 정보를 포함한다.

디코딩을 위해, 디코딩 장치는 입력 비트스트림을 광학 저장 매체로부터 판독하거나 무선 또는 유선으로 수신함으로써 이를 수신한다. 수신된 입력 비트스트림으로부터, 분할 마스크의 재구성 또는 검색과 대응하는 가역 매핑의 역동작을 가능하게 하는 데이터 코드가 분리되어 디코딩된다. 수신된 비트스트림의 나머지는 역스캐닝되고 역양자화되어 역변환을 위해 준비된 서브블록들의 계수들을 누적한다. 1차원 역변환이 수평으로 적용되고 그런 다음 결과적인 중간 계수들은 우측으로 이동될 수 있으며, 여기서 분할 마스크 정보를 이용하여 중간 계수들 중 어느 것이 이동되고 얼마나 이동되는지가 결정된다.

그 다음, 중간 계수들은 수직으로 1차원 역변환되고 그 결과 서브블록의 한 에지에 누적된 서브블록의 픽셀들이 얻어진다.

마스크 정보를 이용하여 각각의 누적된 픽셀들의 원래 위치가 결정될 수 있다. 즉, 제1 단계의 어셈블리와 연관된 고정 패턴 스캔 원리가 서브블록에 누적된 픽셀들을 블록에 재분포하는데 사용되어 이후에 각 파티션이 복원될 수 있도록 한다. 매우 유사한 방식으로, 다른 파티션(들)이 복원될 수 있고 모든 파티션들이 결합되어 이미지 블록 전체를 다시 얻을 수 있다.

마스크 정보에 의하면, 원래 픽셀과 제1 변환을 위한 픽셀들로부터 일대일 매핑이 확립될 수 있다(매핑_1이라고 함). 제1 변환 후 중간 계수들은 제2 변환을 위해 좌측으로 이동된다. 그런 다음, 제1 변환 후 중간 계수들과 제2 변환을 위한 중간 계수들 사이에 다른 일대일 매핑이 확립될 수 있다(매핑_2라고 함). 일단 디코더가 마스크 정보를 알고 있다면 이들 두 매핑 관계가 획득될 수 있다. 이러한 두 매핑 동작이 가역이므로, 디코더는 재구성된 픽셀과 변환 계수 사이의 위치 관계를 확립하도록 역매핑 처리를 구현할 수 있다. 디코더에서의 역매핑 동작의 흐름도가 도 8에 도시되어 있다.

텍스처 패턴 적응형 파티션 블록 변환의 도면과 본 발명의 인코딩 프레임워크가 도 10에 도시되어 있다. "마스크 생성" 모듈에서, 마스크는 기술된 부록과 같이 미리 정의된 패턴에 의해 생성될 수 있다. 그리고 마스크는 또한 국부적인 콘텐츠 분석 결과에 의해 생성될 수 있는데, 예를 들어, 한 블록 내의 픽셀들은 세기 분포에 따라 두 (또는 그 이상) 부류로 분류될 수 있거나 또는 에지 또는 분할 검출 결과에 기초하여 분류될 수 있다.

부록:

Claims (10)

1. 텍스처 패턴 적응형 파티션 블록 변환(texture-pattern-adaptive partitioned block transform)을 이용하여 이미지의 이미지 블록을 인코딩하는 방법으로서, 상기 이미지 블록은 NxM 개의 픽셀들을 포함하며(N은 M과 같거나 M보다 큼), 상기 방법은,
   - a) 현재의 텍스처 패턴과 연관된 현재의 텍스처 패턴 적응형 파티션에 따라 상기 이미지 블록을 제1 서브세트의 픽셀들과 적어도 제2 서브세트의 픽셀들로 분할하는 단계,
   - b) 텍스처 패턴 연관 스캔 순서를 이용하여 상기 제1 서브세트의 픽셀들을 픽셀 시퀀스들의 메타 시퀀스(meta-sequence)로 배열하는 단계 - 상기 텍스처 패턴 연관 스캔 순서는 상기 현재의 텍스처 패턴과 연관되고 각각의 상기 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -,
   - c) 최대 M개의 추가의 픽셀 시퀀스들의 추가의 메타 시퀀스를 생성하는 단계 - 각각의 상기 추가의 픽셀 시퀀스들은 상기 픽셀 시퀀스들 중 하나 또는 상기 메타 시퀀스의 서브 시퀀스의 연속적인 픽셀 시퀀스들(a concatenation of pixel sequences)을 포함하고, 각각의 상기 추가의 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -,
   - d) 상기 추가의 픽셀 시퀀스들을 변환하여 계수 시퀀스들을 생성하는 단계,
   - e) 상기 계수 시퀀스들에 대한 1차원 변환들에 의해 추가의 계수 시퀀스들을 생성하는 단계,
   - f) 상기 추가의 계수 시퀀스들에 포함된 계수들을 양자화하고 스캐닝하여 다른 추가의 계수 시퀀스를 생성하는 단계 - 인코딩 스캔 순서에 따라 스캐닝이 수행됨 -,
   - g) 상기 다른 추가의 계수 시퀀스를 엔트로피 인코딩하는 단계, 및
   - h) 상기 현재의 텍스처 패턴과 연관된 표시자(indication)를 엔트로피 인코딩하는 단계
   를 포함하는 이미지 블록 인코딩 방법.
2. 제1항에 있어서, 상기 현재의 텍스처 패턴 적응형 파티션은 다음의 텍스처 패턴들:
   ㆍ다수의 스트립을 포함하는 텍스처 패턴,
   ㆍ비대칭적인 텍스처 패턴, 및
   ㆍ무지향성 텍스처 패턴
   중 하나와 연관되는 이미지 블록 인코딩 방법.
3. 제1항 또는 제2항에 있어서, 상기 적어도 제2 서브세트의 픽셀들에 상기 단계 b), c), d), e), f) 및 g)를 적용하는 단계를 더 포함하는 이미지 블록 인코딩 방법.
4. 제3항에 있어서, 상기 적어도 제2 서브세트에 대해 상기 단계 f)에서 상이한 추가의 인코딩 스캔 순서가 사용되는 이미지 블록 인코딩 방법.
5. 제3항 또는 제4항에 있어서, 상기 제1 서브세트와 상기 적어도 제2 서브세트 사이의 계수 예측을 더 포함하는 이미지 블록 인코딩 방법.
6. 텍스처 패턴 적응형 파티션 블록 변환(texture-pattern-adaptive partitioned block transform)을 이용하여 이미지의 이미지 블록을 인코딩하는 장치로서, 상기 이미지 블록은 NxM 개의 픽셀들을 포함하며(N은 M과 같거나 M보다 큼), 상기 장치는,
   - 현재의 텍스처 패턴과 연관된 현재의 텍스처 패턴 적응형 파티션에 따라 상기 이미지 블록을 제1 서브세트의 픽셀들과 적어도 제2 서브세트의 픽셀들로 분할하는 수단,
   - 텍스처 패턴 연관 스캔 순서를 이용하여 상기 제1 서브세트의 픽셀들을 픽셀 시퀀스들의 메타 시퀀스로 배열하는 수단 - 상기 텍스처 패턴 연관 스캔 순서는 상기 현재의 텍스처 패턴과 연관되고 각각의 상기 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -,
   - 최대 M개의 추가의 픽셀 시퀀스들의 추가의 메타 시퀀스를 생성하는 수단 - 각각의 상기 추가의 픽셀 시퀀스들은 상기 픽셀 시퀀스들 중 하나 또는 상기 메타 시퀀스의 서브 시퀀스의 연속적인 픽셀 시퀀스들을 포함하고, 각각의 상기 추가의 픽셀 시퀀스들은 최대 N개의 픽셀을 포함함 -,
   - 상기 추가의 픽셀 시퀀스들을 변환하여 계수 시퀀스들을 생성하는 수단,
   - 상기 계수 시퀀스들에 대한 1차원 변환들에 의해 추가의 계수 시퀀스들을 생성하는 수단,
   - 상기 추가의 계수 시퀀스들에 포함된 계수들을 양자화하고 스캐닝하여 다른 추가의 계수 시퀀스를 생성하는 수단 - 인코딩 스캔 순서에 따라 스캐닝이 수행됨 -,
   상기 다른 추가의 계수 시퀀스를 엔트로피 인코딩하는 수단, 및
   상기 현재의 텍스처 패턴과 연관된 표시자(indication)를 엔트로피 인코딩하는 수단
   을 포함하는 이미지 블록 인코딩 장치.
7. 이미지의 인코딩된 이미지 블록을 나타내는 비트 스트림을 디코딩하는 방법으로서, 상기 이미지 블록은 텍스처 패턴 적응형 파티션 블록 변환을 이용하여 인코딩되고 NxM 개의 픽셀들을 포함하며(N은 M과 같거나 M보다 큼), 상기 방법은,
   - a) 상기 비트 스트림에 포함된 제1 계수 시퀀스를 엔트로피 디코딩하는 단계,
   - b) 현재의 텍스처 패턴과 연관된 표시자(indication)를 엔트로피 디코딩하고 - 상기 표시자는 상기 비트 스트림에 포함됨 -, 상기 현재의 텍스처 패턴과 연관된 역 텍스처 패턴 적응 스캔 순서를 결정하는 단계,
   - c) 상기 제1 계수 시퀀스의 계수들을 역양자화하는 단계,
   - d) 역 인코딩 스캔 순서를 이용하여 상기 역양자화된 제1 계수들을 둘 이상의 추가의 제1 계수 시퀀스들로 배열하는 단계,
   - e) 상기 추가의 제1 계수 시퀀스들에 대한 역 1차원 변환들에 의해 다른 추가의 제1 계수 시퀀스들을 생성하는 단계,
   - f) 상기 다른 추가의 제1 계수 시퀀스들의 역변환에 의해 픽셀 시퀀스들을 생성하는 단계, 및
   - g) 상기 결정된 역 텍스처 패턴 적응 스캔 순서를 이용하여 상기 픽셀 시퀀스들의 픽셀들을 상기 이미지 블록에 분포시키는 단계
   를 포함하는 비트 스트림 디코딩 방법.
8. 제7항에 있어서, 상기 비트 스트림에 포함된 제2 계수 시퀀스를 엔트로피 디코딩하고 상기 제2 계수 시퀀스에 단계 c), d), e), f) 및 g)를 적용하는 단계를 더 포함하는 비트 스트림 디코딩 방법.
9. 이미지의 인코딩된 이미지 블록을 나타내는 비트 스트림을 디코딩하는 장치로서, 상기 이미지 블록은 텍스처 패턴 적응형 파티션 블록 변환을 이용하여 인코딩되고 NxM 개의 픽셀들을 포함하며(N은 M과 같거나 M보다 큼), 상기 장치는,
   - 상기 비트 스트림에 포함된 계수 시퀀스를 엔트로피 디코딩하는 수단,
   - 현재의 텍스처 패턴과 연관된 표시자(indication)를 엔트로피 디코딩하는 수단 - 상기 표시자는 상기 비트 스트림에 포함되고 상기 현재의 텍스처 패턴과 연관된 역 텍스처 패턴 적응 스캔 순서를 결정함 -,
   - 상기 제1 계수 시퀀스의 계수들을 역양자화하는 수단,
   - 역 인코딩 스캔 순서를 이용하여 상기 역양자화된 제1 계수들을 둘 이상의 추가의 계수 시퀀스들로 배열하는 수단,
   - 상기 추가의 제1 계수 시퀀스들에 대한 역 1차원 변환들에 의해 다른 추가의 제1 계수 시퀀스들을 생성하는 수단,
   - 상기 다른 추가의 제1 계수 시퀀스들의 역변환에 의해 픽셀 시퀀스들을 생성하는 수단, 및
   - 상기 결정된 역 텍스처 패턴 적응 스캔 순서를 이용하여 상기 픽셀 시퀀스들의 픽셀들을 상기 이미지 블록에 분포시키는 수단
   을 포함하는 비트 스트림 디코딩 장치.
10. 인코딩된 계수의 시퀀스와 인코딩된 마스크 정보를 포함하는 비트 스트림을 보유하는 저장 매체로서, 디코딩 및 역변환에 의해 상기 인코딩된 계수들로부터 픽셀 시퀀스들이 생성될 수 있으며 상기 마스크 정보는 이미지 블록의 픽셀들을 선택하는데 사용된 마스크를 재구성하게 하고 상기 마스크와 연관된 분포 패턴을 결정하게 하며, 상기 분포 패턴은 상기 이미지 블록에 픽셀 시퀀스들의 픽셀들을 분포하게 하는 저장 매체.

Images