KR20140000241A - 영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 발명은 영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법을 제안한다. 상기 방법은 자기-유사성 텍스쳐드 영역의 샘플 부분으로부터 샘플 픽셀들을 복사함으로써 자기-유사성 텍스쳐드 영역 중 한 부분의 픽셀들을 결정하는 단계를 포함하며, 상기 샘플 픽셀들은 이웃 매칭을 사용하여 선택되고, 매칭을 위해 사용되는 이웃들의 사이즈는 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들에 대한 분석에 기초하여 선택된다. 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들의 분석은 텍스쳐의 피쳐 사이즈에 근접한 이웃 사이즈를 결정하게 한다.

Description

영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR RECONSTRUCTING A SELF-SIMILAR TEXTURED REGION OF AN IMAGE}

본 발명은 자기-유사성 텍스쳐드 영상 영역들(self-similar textured image regions)의 재구성(reconstruction)의 분야에서 이루어진다.

영상들에서의 자기-유사성 텍스쳐드 영역들은, 특히 고 해상도 인코딩에서 뿐만 아니라, 인코딩에 있어서 높은 비트 전송률을 일으키지만, 동시에 관찰자에 의한 제한된 관심만을 일으킨다. 관찰자의 관심은 단지 구조 또는 휘도에서 불연속을 보이는 영역들에 관한 것이다.

원칙적으로, 텍스쳐의 자기-유사성은 텍스쳐드 영역의 샘플 부분만을 인코딩함으로써 비트 전송률을 감소시키게 하고, 샘플 부분의 픽셀들을 복사함으로써 텍스쳐드 영역 중 비-인코딩된 추가적인 부분의 픽셀들에 대한 재구성을 가능하게 한다. 재구성은 또한 합성(synthesizing)으로 알려져 있다.

예를 들어, Li-Yi Wei와 Marc Levoy: "트리-구조화된 벡터 양자화를 사용한 신속한 텍스쳐 합성(Fast texture synthesis using tree-structured vector quantization)", 2000, Proc. of the 27th annual conference on Computer graphics and interactive techniques (SIGGRAPH '00), ACM Press/Addison-Wesley Publishing Co., New York, NY, USA, 479-488은 텍스쳐 영역 중 한 부분이 픽셀 단위(pixel by pixel) 선택 프로세스에 기초하여 재구성되는 픽셀-기반 재구성 설계를 제안했다.

주어진 비-인코딩된 픽셀의 재구성을 위해 사용되는 샘플 픽셀의 선택은 샘플 픽셀 후보들 중에서 샘플 픽셀의 이웃과 주어진 비-인코딩된 픽셀의 이웃의 최대 유사성에 기초할 수 있다.

텍스쳐의 피쳐(feature) 사이즈보다 큰 이웃들은 텍스쳐를 잘 재생하기 위해 적절하지만, 실제로 양호한 시각적 품질의 텍스쳐를 재생하기 위해 큰 샘플 부분을 요구하며, 반대로 텍스쳐의 피쳐 사이즈보다 작은 이웃들은 양호하지 않은 재생을 초래하기 때문에, 본 발명은 텍스쳐의 피쳐 사이즈에 근접한 이웃 사이즈를 적응적으로 선택하는 영상의 자기-유사성 텍스쳐드 영역의 재구성을 위한 방법 및 디바이스를 제공하고자 한다.

샘플 픽셀의 선택은 선택을 위해 사용되는 이웃의 사이즈에 의존한다. 상이한 이웃 사이즈들은 동일한 비-인코딩된 픽셀의 재구성을 위한 상이한 샘플 픽셀들을 초래할 수 있다. 텍스쳐의 피쳐 사이즈보다 큰 이웃들은 원칙적으로 텍스쳐를 잘 재생하기 위해 적절하지만, 실제로 양호한 시각적 품질의 텍스쳐를 재생하기 위해 큰 샘플 부분들을 요구한다. 텍스쳐의 피쳐 사이즈보다 작은 이웃들은 양호하지 않은 재생을 초래할 것이다. 따라서, 텍스쳐의 피쳐 사이즈에 근접한 이웃 사이즈를 적응적으로 선택하는 영상의 자기-유사성 텍스쳐드 영역의 재구성을 위한 방법 및 디바이스를 제공하는 것이 바람직하다.

그리하여, 본 발명자들은 청구항 제1항의 방법과 청구항 제3항의 디바이스를 제안한다.

상기 방법은 자기-유사성 텍스쳐드 영역의 샘플 부분으로부터 샘플 픽셀들을 복사함으로써 자기-유사성 텍스쳐드 영역 중 한 부분의 픽셀들을 결정하는 단계를 포함하고, 상기 샘플 픽셀들은 이웃 매칭(neighbourhood matching)을 사용하여 선택되며, 매칭을 위해 사용되는 이웃들의 사이즈는 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들(descriptors)에 대한 분석에 기초하여 선택된다.

한 실시예에서, 본 방법은 자기-유사성 텍스쳐드 영역의 샘플 부분이 인코딩된 비트 스트림을 수신하는 단계와 샘플 부분을 디코딩하는 단계를 더 포함한다.

본 방법의 한 추가적인 실시예에서, 매칭을 위해 사용되는 이웃들의 사이즈는, 상이하게 사이즈를 갖는 블록들 각각에 DCT 변환을 적용하여 계수들을 결정함으로써, 상이하게 사이즈를 갖는 블록들 각각에 대해 서술자들의 관련된 시퀀스를 결정하되, 서술자 각각은 병렬의 경로들을 따라 합산된 계수들의 합계를 사용하여 결정되는, 서술자들의 관련된 시퀀스를 결정함으로써, 단조 감소(monotone decreasing)하지 않는 시퀀스들 중에서 가장 작은 블록 사이즈와 관련된 시퀀스인 서술자들의 시퀀스를 선택함으로써, 그리고 결정된 시퀀스와 관련된 상이하게 사이즈를 갖는 블록의 사이즈를 사용하여 이웃들의 사이즈를 결정함으로써 적응적으로 선택된다.

상기 디바이스는 프로세싱 디바이스를 포함한다. 프로세싱 디바이스는 자기-유사성 텍스쳐드 영역의 샘플 부분으로부터 샘플 픽셀들을 복사함으로써 자기-유사성 텍스쳐드 영역 중 추가적인 부분의 픽셀들을 결정하도록 적응되고, 샘플 픽셀들은 이웃 매칭을 사용하여 선택되고, 프로세싱 디바이스는 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들의 시퀀스들에 대한 분석을 사용하여 매칭을 위해 사용되는 이웃들의 사이즈를 선택하도록 적응된다.

한 실시예에서, 상기 디바이스는 수신기와 디코더를 더 포함한다. 수신기는 자기-유사성 텍스쳐드 영역의 샘플 부분이 인코딩된 비트 스트림을 수신하도록 적응되며, 디코더는 샘플 부분을 디코딩하도록 적응된다.

본 발명의 개념은 또한 적절한 샘플 부분 사이즈를 결정하기 위한, 그리고/또는 비-인코딩된 부분의 사이즈를 결정하기 위한, 또는 이들 모두에 대한 인코딩 디바이스에 적용될 수 있다.

인코더 측에 적용되는 경우, 선택된 이웃 사이즈는 디코더로 더 송신될 수 있다.

본 발명의 예시적인 실시예들은 도면들에서 도시되며, 다음의 설명에서 보다 상세하게 설명된다. 예시적인 실시예들은 청구항들에 한정된 본 발명의 개시사항, 범주, 또는 사상을 제한하지 않고, 단지 본 발명을 명료하게 하기 위해 설명된다.

본 발명은 텍스쳐의 피쳐 사이즈에 근접한 이웃 사이즈를 적응적으로 선택하는 영상의 자기-유사성 텍스쳐드 영역의 재구성을 위한 방법 및 디바이스를 제공하여, 종래 기술의 단점을 해결하며, 텍스쳐 패턴들의 유형, 형상 및 피쳐링된 사이즈에 의존하여 텍스쳐 합성 알고리즘들을 파라미터화하기 위한 텍스쳐 피쳐들을 획득하는 것을 가능하게 한다.

도 1은 덮어 씌워진(overlaid) 예시적인 병렬의 경로들을 갖는 8x8 블록에 대한 예시적인 DCT 변환을 도시하는 도면.
도 2는 Wei와 Lehoy에 의해 제안된 기초적인 종래 기술의 픽셀 기반의 재구성 설계를 도시하는 도면.
도 3은 상이하게 사이즈를 갖는 블록들에 대한 예시적인 서술자 곡선들을 도시하는 도면.
도 4는 상이하게 사이즈를 갖는 블록들에 대한 더 예시적인 서술자 곡선들을 도시하는 도면.
도 5는 예시적인 텍스쳐 재구성 기반의 인코딩-디코딩 체제를 도시하는 도면.
도 6은 더 예시적인 병렬의 경로들을 도시하는 도면.

정지된 영역들로 정의되는 텍스쳐들은 규칙적(regular)이거나 또는 거의-규칙적인 텍스쳐들로 다양할 수 있는데, 이들의 패턴은 상이한 위치들(벽돌 벽)에서 추계학적 잡음 텍스쳐들(stochastic noisy textures)(모래, 잔디...)로 재복사된다.

본 발명은 영상/비디오 압축 설계 및 자동-적응적 알고리즘에 대한 컴퓨터 그래픽들의 분야에 적용될 수 있는 새로운 특성화(characterization) 단계를 제안한다. 본 발명은 8x8 블록에 대해 도 1에 도시된 2D 이산 코사인 변환(DCT: Discrete Cosinus Transform) 계수로부터 계산된 서술자들의 조사에 기초한다. 자기-유사성 텍스쳐드 영상 영역의 블록의 DCT 계수들을 계산한 이후에, 서술자 벡터 성분들은 DC 계수에 중심을 둔 병렬의 경로들, 예를 들어 도 1에 예시적으로 도시된 바와 같이 DC 계수에 중심을 둔 원들에 의해 교차되는 AC 계수들로부터 계산된다. 서술자 벡터 성분들은 이들 병렬의 경로들에 의해 교차되는 계수들의 합계들에 상응한다. 합계들은 등거리의 병렬의 경로들을 통해 계산될 수 있다. 게다가, 합계들은 합산된 계수에 대한 가중 인수들(weighting factors)을 포함할 수 있으며, 상기 가중 인수들은 계수 각각을 교차하는 경로 섹션의 길이에 의존한다. 그리고 나서, 적어도 두 개의 사이즈들은 서술자 벡터의 변화량(variation)을 조사함으로써 보다 양호한 것을 선택하도록 테스트되어야 한다.

DCT 계수들은 다음의 수학식으로부터 계산된다:

여기서, I(x, y)는 위치 (x, y)에서의 휘도 값에 상응하고, N은 지원 블록의 사이즈이며, α_k는 다음과 같다:

DC 값은 평균 휘도 불변(average luminance invariance)을 위해 유지되지 않으므로, 도 1은 서술자 벡터의 2개의 제1 성분들을 나타내는 제1 원들 C1과 C2를 도시한다. 서술자들은 다음과 같이 계산될 수 있다:

여기서, C는 변환 도메인 내의 위치 (λcosθ, λsinθ)에서의 DCT 계수에 상응한다.

서술자 벡터 성분들은 변환된 블록의 텍스쳐를 특징으로 한다. 제1 정보는 텍스쳐 영역 내부에서 패턴들의 피쳐 사이즈들에 존재한다. 합성 알고리즘들, 특히 픽셀-기반의 기술들은 픽셀들의 그룹들 간의 비교에 기초한다. 도 2는 Wei와 Lehoy에 의해 제안된 기초적인 종래 기술의 픽셀 기반의 재구성 설계를 도시한다. 합성하기 위한 현재의 픽셀의 원인이 되는 이웃(적색)은 패치 내의 모든 위치에서의 동일한 형상의 윈도우에 비교되는데, L2 놈 비교(norm comparison)를 최소화하는 패치가 선택되며, 패치로부터의 후보 샘플 픽셀은 현재의 위치에 복사된다.

본 발명자들은 이웃의 상이한 사이즈들로 계산된 텍스쳐 결과들을 통지받았으며, 뱀 피부의 피쳐 사이즈보다 큰 사이즈를 갖는 이웃은 시각적으로 양호한 결과들을 생성할 수 있지만, 보다 작은 사이즈들은 확실히 그렇지 않다. 게다가, 이러한 사이즈는 또한 너무 커서는 안 되며, 그 이유는 이것이 패치 사이즈에 의존하는 픽셀들의 후보 세트를 감소시키기 때문이다.

서술자 벡터의 제1 성분은 도 1에 도시된 원 C1에 의해 교차되는 계수들로부터 계산된다. 따라서, 이것은 모든 방향에 있어서 블록에 걸친 휘도의 단일 변화량(single variation)을 나타낸다. C2는 블록에 걸친 1-주기의 변화량을 나타내고, 다른 계수들은 훨씬 더 세밀한 패턴들로서 보다 높은 주파수들로부터 계산된다. 제1 성분이 서술자 벡터의 가장 큰 값인 경우, 메인 패턴은 블록에 걸친 우세하며 균일한 변화량을 갖는다. 그리하여, 이것의 피쳐 사이즈는 DCT 서술자들을 계산하기 위한 블록들 사이즈보다 크다. 따라서, 제1 성분이 가장 큰 값을 갖는 경우, 서술자 벡터는 단조 감소하며, 블록 사이즈는 텍스쳐 합성 알고리즘들에서 이웃으로서 사용되기 위해 충분하지 않다. 반대로, 다른 성분들이 우세한(단조 곡선 아닌) 경우, 메인 패턴은 블록에 포함될 것이다. 따라서, 재구성은 이웃들과, 상응하여 선택된 사이즈의 비교에 기초할 수 있다.

도 3은 서술자 곡선들 조사를 보다 잘 이해하기 위해 적절한 예시적인 경우를 제시한다. 예시에서, 대략 12x12 픽셀들의 사이즈(두 개의 이웃하는 그림 중심 사이의 거리)의 메인 패턴으로 구성되는 "매트릭스"로부터의 텍스쳐 패치가 선택된다. 곡선들은 좌측에 있는 패치에 걸친 상이한 사이즈들의 평균 서술자를 나타낸다.

이전의 논의에 따르면, 8x8 사이즈는 충분하지 않고, 사이즈 16x16와 함께 보다 높은 주파수들이 우세하여, 이에 따라 메인 패턴은 16x16 블록에 포함될 수 있다. 32x32 이웃을 사용하는 것이 또한 가능하지만, 이는 패치가 32x32 블록들의 큰 세트를 포함하도록 충분히 커야하는 것을 의미하며, 이는, 예를 들어 분할된 텍스쳐 영역들이 충분히 크지 않은 비디오 압축 도메인에서 항상 가능한 것은 아니다. 도 4는 자갈들을 포함하는 또 다른 예시를 도시한다. 작은 자갈들은 실용적인 목적을 위해 5x5 이웃으로 합성될 수 있다.

텍스쳐 합성은 텍스쳐 영역들의 인코딩을 위한 효율적인 압축 기술로서 사용될 수 있다. 실제로, 세밀한 텍스쳐 영역들은 종래의 변환-기반의 압축 설계들을 사용하여 다루어지기에는 난해하다. 도 4는 예시적인 합성-기반의 체제를 제시한다. 텍스쳐 분석기에 의해 인코더 측에서 텍스쳐들을 분할한 이후에, 큰 텍스쳐 영역들은 전송된 비트 스트림으로부터 제거되며, 예를 들어 제거된 영역들을 둘러싸는 샘플 텍스쳐 블록들의 세트만이 디코더 측에서 패치로서 사용되도록 유지된다. 디코더는 우선적으로 에지 블록들과 패치들로 영상을 구축하며; 이후 텍스쳐 합성기는 완성된 영상들을 출력하기 위해 누락된 텍스쳐들을 채운다.

이러한 맥락에서, DCT 서술자들은 상이한 양상들을 위해 유용할 수 있다.

우선적으로, 인코더 측에서 텍스쳐들을 분할한 이후에, 서술자들은 디코더 측에서 텍스쳐 합성기가 이러한 유형의 텍스쳐를 재구성할 수 있는지의 여부를 결정하기 위해 인코더 측에서 사용될 수 있다. 또한, 인코더는 인코딩으로부터 얼마나 많은 텍스쳐드 영역이 제외될 수 있는지와, 디코더에 의한 샘플로서 얼마나 필요한지를 결정할 수 있다. 그리고, 인코더는 부수적인 정보로서 이러한 텍스쳐 영역에 대한 이웃 사이즈를 전송할 수 있다. 디코더에 의해 이웃 사이즈에 관한 어떤 부수적인 정보도 수신되지 않은 경우, 디코더는 수신된 샘플로부터 DCT 서술자들을 결정하고, 이후 재구성 프로세스를 위한 적절한 이웃 사이즈를 결정하기 위해 이들을 사용할 수 있다.

서술자 벡터 성분들을 계산하기 위한 다양한 병렬의 경로들이 사용될 수 있다. 도 6은 우측에 있는 서술자 벡터의 또 다른 예시를 도시하며, 이는 좌측에 있는 4x4 DCT 블록에 걸친 병렬의 등거리 경로들로부터 계산된다.

계수들은 예시적인 경로들을 도시하는 점선들에 의해 교차되는 DCT 계수들의 합계에 상응한다. DC는 유지되지 않기 때문에, 예시적인 서술자 벡터는 화살표들로 도시되는 3개의 성분들을 획득한다.

본 발명은 텍스쳐 패턴들의 유형, 형상 및 피쳐링된 사이즈에 의존하여 텍스쳐 합성 알고리즘들을 파라미터화하기 위한 텍스쳐 피쳐들을 획득하는 것을 가능하게 한다.

C1, C2 : 서술자 벡터의 2개의 제1 성분들을 나타내는 제1 원들

Claims (5)

1. 영상의 자기-유사성 텍스쳐드 영역(self-similar textured region)을 재구성하기 위한 방법으로서,
   상기 방법은
   - 자기-유사성 텍스쳐드 영역의 샘플 부분으로부터 샘플 픽셀들을 복사함으로써 자기-유사성 텍스쳐드 영역 중 한 부분의 픽셀들을 결정하는 단계로서, 상기 샘플 픽셀들은 이웃 매칭(neighbourhood matching)을 사용하여 선택되고, 매칭을 위해 사용된 이웃들의 사이즈는 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들(descriptors)에 대한 분석에 기초하여 선택되는, 픽셀들을 결정하는 단계를 포함하는,
   영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법.
2. 제1항에 있어서,
   상기 방법은
   - 샘플 부분이 인코딩된 비트 스트림을 수신하는 단계, 및
   - 샘플 부분을 디코딩하는 단계를 더 포함하는,
   영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법.
3. 제1항 또는 제2항에 있어서,
   매칭을 위해 사용되는 이웃들의 사이즈는
   - 상이하게 사이즈를 갖는 블록들 각각에 DCT 변환을 적용함으로써 계수들을 결정하는 단계,
   - 상이하게 사이즈를 갖는 블록들 각각에 대해 서술자들의 관련된 시퀀스를 결정하는 단계로서, 서술자 각각은 병렬의 경로들을 따라 합산된 계수들의 합계를 사용하여 결정되는, 서술자들의 관련된 시퀀스를 결정하는 단계,
   - 단조 감소(monotone decreasing)하지 않는 시퀀스들 중에서 가장 작은 블록 사이즈와 관련된 시퀀스인 서술자들의 시퀀스를 선택하는 단계, 및
   - 선택된 시퀀스와 관련된 상이하게 사이즈를 갖는 블록의 사이즈를 사용하여 이웃들의 사이즈를 결정하는 단계에 의해 적응적으로 선택되는,
   영상의 자기-유사성 텍스쳐드 영역을 재구성하기 위한 방법.
4. 영상의 자기-유사성 텍스쳐드 영역를 재구성하기 위한 디바이스로서,
   상기 디바이스는
   - 자기-유사성 텍스쳐드 영역의 샘플 부분으로부터 샘플 픽셀들을 복사함으로써 자기-유사성 텍스쳐드 영역 중 한 부분의 픽셀들을 결정하도록 적응된 프로세싱 디바이스로서, 상기 샘플 픽셀들은 이웃 매칭을 사용하여 선택되고, 상기 프로세싱 디바이스는 샘플 부분의 상이하게 사이즈를 갖는 블록들의 DCT 변환의 계수들로부터 계산된 서술자들의 시퀀스들에 대한 분석을 사용하여 매칭을 위해 사용되는 이웃들의 사이즈를 선택하도록 적응된, 프로세싱 디바이스를 포함하는,
   영상의 자기-유사성 텍스쳐드 영역를 재구성하기 위한 디바이스.
5. 제4항에 있어서,
   상기 디바이스는
   - 샘플 부분이 인코딩된 비트 스트림을 수신하기 위한 수신기, 및
   - 샘플 부분을 디코딩하기 위한 디코더를 더 포함하는,
   영상의 자기-유사성 텍스쳐드 영역를 재구성하기 위한 디바이스.

Images