KR20010025045A

KR20010025045A - 비디오 신호 처리

Info

Publication number: KR20010025045A
Application number: KR1020007012979A
Authority: KR
Inventors: 윌린스키피오트르; 반오버벨드코넬리스더블유.에이.엠.
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1999-03-18
Filing date: 2000-02-25
Publication date: 2001-03-26
Also published as: JP2002540516A; EP1078332A1; WO2000057360A1; DE60028884T2; EP1078332B1; ES2254155T3; US6563873B1; ATE315821T1; DE60028884D1; EP1078332B9

Abstract

비디오 신호 처리 방법에서, 비디오 신호의 일부분(N-M)에 대해 신뢰성 있는 동작 또는 깊이 정보(d1, d2)가 얻어질 수 없는 경우, 매칭될 수 없는 부분들(N-M)로 분류하고(L), 상기 비디오 신호(V)에 대해 동작 또는 깊이 정보(d1, d2)를 발생시키고, 상기 비디오 신호(V)에 대해 발생된 상기 동작 또는 깊이 정보로부터 상기 비디오 신호(V)의 상기 매칭될 수 없는 부분들(N-M)에 대한 동작 또는 깊이 정보(d1, d2)가 생성된다.

Description

비디오 신호 처리{Video signal processing}

T.Yoshida, H.Katoh, 및 Y.Sakai에 의해 Proceedings International Conference on Image Processing, pp.152-155, volume Ⅱ of Ⅲ, October 26-29, 1997, Santa Barbara, California에 발표된 논문, "Block matching motion estimation using block integration based on reliability metric"은 동작 벡터들의 정확도와 코히어런스를 향상시키기 위한 동작 추정 기술을 제안한다. 상기 제안된 기술은 동작 벡터들의 신뢰성 메트릭(metric)을 사용한 매칭 블록 통합 (integration)에 기초하고 있다. 우선, 상기 신뢰성 메트릭은 목표 영상내의 모든 매칭 블록들에 대해 계산되고, 그다음에 상기 값과 상기 방향의 의존성에 기초하여 4개의 인접 매칭 블록들이 통합되어야 하는지 아닌지를 체크한다. 마지막으로, 동작 벡터들은 상기 블록매칭 기술에 의해 상기 통합된 매칭 블록들에 대해 추정된다. 상기 블록 통합이 평평한 매칭 블록들 또는 간단한 엣지를 가진 것들에 대해서만 수행되므로, 상기 코히어런스는 동작 보상의 수행이 가능한 멀리 유지되는 동안 향상된다.

Z.Eisips와 D.Malah에 의해 17th Convention of electrical and electronical engineers in Israel, Proc.1991,pp.186-189 에 발표된 논문 "Global motion estimation for image sequence coding applications"은 영상 시퀀스내의 글로벌 동작의 추정을 위한 알고리듬을 기술한다. 상기 알고리듬은 블록 변위 판단에 기초하고 있다. 상기 알고리듬은 한 세트의 가장 신뢰성 있는 블록 변위들을 선택하고 상기 변위들로부터 상기 모델 파라미터들의 초기 추정을 얻기위해 최소 자승 계획을 응용한다. 그 변위들이 상기 추정과 조화되지 않는 블록들을 버리기 위해 그다음에 입증 단계가 사용된다. 블록은 상기 얻어진 평균 제곱 차이(MAD)가 문턱값보다 낮을 때 잘 매칭된다. 상기 매칭은 상기 MAD 가 동작 보상없이 상기 MAD보다 더 좋을때 가장 신뢰성이 있을 것이다. 이것은 노이즈같은 텍스처 영역들뿐 아니라 평탄한 영상 영역들에 대해 얻어진 변위 추정의 사용을 피하는 방법으로 보일 수 있으며, 여기서 실제 동작은 지역(local) 매칭 알고리듬에 의해 적절히 추정될 수 없다. 마지막으로, 최소 자승 계획은 입증된 블록 변위들만을 사용하여 상기 모델 파라미터들의 더 미세한 추정을 얻기 위해 응용된다.

본 발명은 비디오 신호 처리를 위한 방법 및 장치에 관한 것이다. 더 명확하게는, 본 발명은 동작 및/또는 깊이 추정에 관한 것이다.

도 1은 경계를 이루는 경사도(gradient)의 존재내에서 동작 또는 깊이 전파를 예시한 도면.

도 2는 본 발명에 따른 비디오 신호 처리 장치의 일실시예를 도시한 도면.

본 발명의 목적은 특히 향상된 추정 기술을 제공하는 것이다. 상기 목적을 위해 본 발명은 독립항에 규정된 바와같이 비디오 신호 처리 방법과 장치를 제공한다. 유리한 실시예들이 종속항에 규정된다.

본 발명의 주요 측면에 따른 비디오 신호 처리 방법에서, 그와같은 일부분들에 대해 신뢰성 있는 동작 또는 깊이 정보가 얻어질 수 없는 경우, 비디오 신호 부분들은 매칭될 수 없는 부분들로 분류되고, 상기 비디오 신호에 대해 동작 또는 깊이 정보가 발생되며, 상기 비디오 신호에 대해 발생된 동작 또는 깊이 정보로부터 상기 비디오 신호의 매칭될 수 없는 부분들에 대해 동작 또는 깊이 정보가 생성된다.

본 발명의 이러한 그리고 다른 측면들은 이후에 기술된 실시예를 참조하여 분명해지며 명료하게 될것이다.

본 발명은 다음의 인식에 기초하고 있다. 비디오 영상에서의 깊이 추정은 블록 매칭 동작 추정 접근에 기초할 수 있다. 매칭될수 없는 것으로 간주할수 있는 몇몇 블록들은 정확한 매칭을 위해 충분한 정보를 포함하지 않을 수 있다. 본 발명은 상기 매칭 알고리듬 반복 도중과 후에 그것들에 대처하기 위한 그것들의 정의와 규칙들을 제안한다.

동작 추출로부터의 블록-기초한 구조는 상기 영상을 블록들로 분할하는 것을 제안한다. 반복적인 매칭 프로세스 전에 상기 블록들은 정렬된다. 그것을 행하는 몇가지 방법들이 가능하다. 상기 라인들은 한 라인씩 처리하는 대신에, 상기 해결책 중 하나는 그것들이 포함하는 텍스처상의 정보(신뢰(confidence))의 양을 따라서 그것들을 정렬하는 것이다. 이런 방식으로 상기 프로세싱은 가장 정확한 결과를 제공할 수 있는 영역들과 함께 시작한다. 가장 빈약한 텍스처(texture)를 포함하며 그리하여 노이즈상의 가능한 매칭에 이르는 블록들은 마지막 순간에서 처리된다. 상기 매칭 프로세스 동안 상기 블록들에는 가장 잘 매칭되는 인접 동작으로부터 발생하는 새로운 동작 값들이 돌려진다. 이것은 동작(깊이) 정보 전파로 고려될 수 있다. 상기 접근은 고도로 텍스처된 영역으로부터 텍스처되지 않은 영역으로 영상내의 정보의 전파를 허용한다.

영상 프레임에 대한 하나의 반복동안 모든 블록들이 방문된다. 결과적으로 모든 블록들은 새로운 동작 값의 공급원일 수 있다. 텍스처의 품질이 빈약한 블록을 고려하면 2개의 경우를 얻을 수 있다:

·그와같은 블록의 근방은 정확한 동작 정보를 상기 블록으로 전파하기에 충분히 풍부하다(rich); 또는

·상기 인접 블록들은 또한 낮게 텍스처되었고(low-textured) 상기 매치 품질은 노이즈상의 매칭때문에 높을 수 있다.

제 1 경우에서, 상기 알고리듬은 가장 잘 매칭하는 인접부로부터 정보를 복사한다. 가장 잘 매칭하는 인접부가 높은 신뢰의 인접부들로부터 선택되므로, 상기 고려된 블록의 새로운 동작 값에 대해 신뢰할 수 있다.

제 2 경우에서, 상기 높은-신뢰 블록들이 낮게 텍스처된 영역들로부터 선택됨에 따라 가장 잘 매칭되는 블록은 노이즈상에서 매칭될 수 있고 특징들 상에서는 매칭될 수 없다. 복사된 동작값은 낮은 신뢰도를 가질 수 있다. 이것은 낮게-텍스처된 인접부에서 분산된 에러있는 동작값들의 발생을 일으킨다.

상기 블록매칭동안 발생하는 다른 문제는 정확하게 같은 블록들을 포함하는 영역들의 문제이다. 이것들은 예를들어 공간적으로 불변인 반복적 텍스처 모티프 (motif)들에 의해 구성될 수 있다. 그와 같은 블록들에 대해서, 가장 잘된 매칭은 동작의 몇가지 값들과 그러므로 깊이에 대해 얻어질 수 있다. 고도로 텍스처된 상기 블록들은 에러있는 동작 값들의 발생자(generator)도 될 수 있다.

매칭될 수 없는 블록의 개념은 해결책이 될 수 있다. 상기 인접하는 블록들과의 매칭이 정확한 결과로 이끌지 않는 순간에 매칭될 수 없는 블록을 호출하는 것이 제안된다. 그와같은 블록들에 대해, 상기 블록 매칭을 수행하지 않는 것이 제안된다. 매칭될 수 없는 블록을 포함하는 밀집한(compact) 영역을 매칭될 수 없는 영역이라고 부르는 것이 제안된다.

상기 블록의 매칭될 수 없음에 대해 결정하기 위해 다음의 기준을 제안한다.

·모든 인접하는 블록들의 텍스처 정보의 엔트로피는, 예를들어 평탄한 영상 영역들에서 및/또는 평평한 매칭 블록들을 가지고, 수용성(acceptability)의 문턱값 아래일 수 있다.

·상기 인접-블록들의 매칭 품질은 수용성의 문턱값 아래에 있을 수, 즉, 상기 매칭 에러가 너무 클 수 있다.

·상기 인접 블록들은 상기 고려된 블록과 동일할 수 있다.

일실시예에서, 엔트로피는 8개의 각들만이 사용되는 [2]에서 서술된 것과 같은 기술을 사용하여 계산될 수 있고, 그래서 상기 계산은 효율적이다; 그러나, 상기 엔트로피로의 더 값싼 근사들도 사용될 수 있다.

상기 매칭될 수 없는 블록들은 상기 알고리듬의 마지막 반복까지 마스킹된다 (masked). 마지막 반복에서 상기 인접부에 있는 블록들로부터의 값들은 매칭될 수 없는 블록들의 영역으로 복사된다.

상기 매칭될 수 없는 영역들내의 정보 전파를 제어하기 위해, 상기 둘러싼 매칭가능한 블록들로부터 상기 경사도 정보(텍스처변화의 경사도)를 매칭될 수 없는 영역내에서 전파하는 것이 제안된다. 매칭될 수 없는 블록이 다른 동작의 매칭가능한 인접한 블록들에 의해 둘러싸일 때 이것은 특히 중요하다. 도 1은 상기 접근을 설명한다. 상기 아이디어는 외부의 경사도들을 연장하는 방식으로 상기 동작(깊이) 값들을 전파하는 것이다.

도 1에서, d1과 d2는 매칭가능한 블록들에 대해 얻어진 동작 또는 깊이 정보를 표시한다. N-M은 매칭될 수 없는 블록들을 표시한다. 위쪽 행에서의 두꺼운 라인은 경사도 g를 표시한다. 상기 경사도 g는 수직방향으로 전파되고, 끊긴 두꺼운 라인 pg에 의해 표시된다. 상기 값 d2는 상기 매칭될 수 없는 블록들 N-M에 할당된다.

도 2는 본 발명에 따른 비디오 신호 처리의 실시예를 도시한다. 입력 비디오 신호 V는 분류하는 장치 L, 동작 추정기(estimator) ME, 및 강화 장치 EU에 적용된다. 선택적으로, 상기 분류하는 장치 L의 출력신호는 상기 동작 추정기 ME가 매칭될 수 없는 블록들 N-M에 대한 동작 벡터들을 얻으려 하는 것을 금지하기 위해 상기 동작 추정기 ME에 적용된다. 상기 동작 추정기 ME의 출력은 상기 매칭될 수 없는 블록들 N-M에 대한 동작 벡터들을 얻기 위해 생성 유닛 PU에 적용된다. 상기 비디오 신호의 모든 블록들에 대한 동작 벡터들은 예를들어 2배가 된 필드 레이트(field rate)를 갖는 강화된 비디오 신호 EV를 발생시키기위해 강화 유닛에 적용된다. 상기 강화된 비디오 신호 EV는 디스플레이 유닛 D에 적용된다.

본 발명의 주요한 측면은 다음과 같이 요약될 수 있다. 신뢰성 있는 동작/깊이 정보는 빈약한 텍스처를 갖는 블럭들에 대해서가 아닌, 풍부한 텍스처를 갖는 블럭들에 대해서 발생될 수 있다. 더욱이, 풍부한 텍스처를 갖는 블럭들에 대해서조차, 예를들어 공간적으로 불변인 반복적 텍스처 모티프를 포함하는, 동일한 블록들의 영역이 있다면 문제가 생길 수 있다. 그와같은 블록들에 대해서 가장 잘된 매칭이 몇가지 값들의 동작/깊이에 대해 얻어질 수 있다. 블록들의 둘다의 형식들을 매칭될 수 없는 블록들로 분류하는 것이 제안된다. 상기 블록들은 상기 알고리듬의 마지막 반복까지 마스킹된다. 그후에, 상기 매칭될 수 있는 블록들에 대해 얻어진 값들은 상기 인접하는 매칭될 수 없는 블록들로 복사된다. 양호하게, 매칭될 수 없는 블록들의 전체적 영역이 있다면, 상기 인접하는 블록들로부터의 값들은 2개의 다르게 동작하는 목적물로부터 정보를 혼합하는 것을 피하기 위해 경사도를 따라 상기 매칭될 수 없는 영역(텍스처 변화의)으로 전파된다. 본 발명은 더 좋은 동작/깊이 추정 품질을 발생시킨다. 본발명은 비디오 시퀀스들에 기초한 정적인 환경들에 대한 깊이 재구축(reconstruction)내에 적용된다.

상기 실시예들은 본 발명을 한정하기 보다는 예시하는 것이며, 당업자는 첨부된 청구항의 범위를 벗어나지 않고 많은 대안의 실시예들을 설계할 수 있을 것이다. 청구항에서, 괄호사이에 위치한 어떤 참조 번호들도 상기 청구항을 제한하는 것으로 해석되어서는 안된다. 상기 단어 "포함하는"은 청구항에 열거된 것들과 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들에 선행하는 상기 단어 "a" 또는 "an"은 다수의 그와같은 요소들의 존재를 배제하지 않는다. 본 발명은 몇가지 명확한 요소들을 포함하는 하드웨어에 의해서 및 적당하게 프로그램된 컴퓨터에 의해서 수행될 수 있다. 몇가지 수단들을 열거하는 장치 청구항에서, 몇가지 상기 수단들은 하드웨어의 하나이며 같은 항목에 의해 실시될 수 있다.

방법 청구항에서, 상기 단계들의 순서는 상기 단계들이 청구항에서 상술된 순서일 필요가 없다. 더 명확하게는, 동작 또는 깊이 정보를 발생시키는 단계는 상기 비디오 신호의 어떤 일부분들이 매칭될 수 없는 것으로 분류하기 전에 수행될 수 있다; 상기 발생시키는 단계는 상기 매칭 에러가 높은 매칭 에러가 매칭될 수 없는 것으로 얻어지는 상기 비디오 신호의 일부분들을 분류하는데 사용된다면 상기 분류하는 단계전에 수행되어야 한다. 그러나, 상기 분류하는 단계가 적은 텍스처가 "매칭될 수 없는"이라고 분류한다는 텍스처 정보에 기초한다면, 상기 분류하는 단계는 상기 동작 또는 깊이 정보 발생 단계전에 수행될 수 있다;상기 발생시키는 단계전의 상기 분류하는 단계를 수행하는 것은 상기 발생시키는 단계가 매칭될수 없는 것으로 분류되지 않은 상기 비디오 신호 일부분들에 대해서만 수행될 필요가 있다는 잇점을 이제 가져오게된다.

References

[1] G.de Haan, Motion Estimation and Compensation. An Integrated approach to consumer display field rate conversion", Ph.D.thesis, 1992.

[2] Piotr Wilinski and Kees van Overveld,"Depth From Motion using Confidence Based Block Matching", Image and Multidimensional Digital Signal Processing Workshop, Alpbach, Austria, July 1998.

[3] Piotr Wilinski and Kees van Overveld,"Motion or depth estimation",PCT application no.PCT/IB99/00162(Attorneys' docket PHN 17.017).

Claims

비디오 신호 처리 방법에 있어서,

비디오 신호(V)의 일부분(N-M)에 대해 신뢰성 있는 동작 또는 깊이 정보가 얻어질 수 없는 경우, 상기 비디오 신호(V)의 일부분(N-M)들을 매칭될 수 없는 부분들(N-M)로 분류하는 단계 (L);

상기 비디오 신호(V)에 대해 동작 또는 깊이 정보(d1, d2)를 발생시키는 단계(ME); 및

상기 비디오 신호(V)에 대해 발생된 상기 동작 또는 깊이 정보(d1, d2)로부터 상기 비디오 신호(V)의 상기 매칭될 수 없는 부분들(N-M)에 대한 동작 또는 깊이 정보(d2)를 생성하는 단계(PU)를 포함하는, 비디오 신호 처리 방법.
제 1 항에 있어서,

상기 생성 단계(PU)는 상기 매칭될 수 없는 부분들(N-M)에 인접한 상기 비디오 신호의 부분들로부터의 동작 또는 깊이 정보 값들(d2)을 상기 매칭될 수 없는 부분들(N-M)로 복사하는 단계를 포함하는, 비디오 신호 처리 방법.
제 1 항에 있어서,

상기 생성하는 단계(PU)는 상기 매칭될 수 없는 부분들(N-M) 외부의 경사도 (g)를 연장하기 위해 매칭될 수 없는 부분(N-M)내의 상기 비디오 신호(V)의 주변 부분들로부터의 경사도 정보(g)를 전파하는 단계를 포함하는, 비디오 신호 처리 방법.
비디오 신호 처리 장치에 있어서,

비디오 신호(V)의 일부분(N-M)에 대해서 신뢰성 있는 동작 또는 깊이 정보가 얻어질 수 없는 경우, 비디오 신호(V)의 일부분들을 매칭될 수 없는 부분들(N-M)로 분류하는 수단 (L)과,

상기 비디오 신호(V)에 대해 동작 또는 깊이 정보(d1, d2)를 발생시키는 수단(ME)과,

상기 비디오 신호(V)에 대해 발생된 상기 동작 또는 깊이 정보(d1, d2)로부터 상기 비디오 신호(V)의 상기 매칭될 수 없는 부분들(N-M)에 대한 동작 또는 깊이 정보(D2)를 생성하는 수단(PU)을 포함하는, 비디오 신호 처리 장치.
제 4 항에 있어서,

개선된 신호(EV)를 얻기위해 상기 동작 또는 깊이 정보(d1, d2)에 따라 상기 비디오 신호(V)를 개선하는 수단(EU)을 더 포함하는, 비디오 신호 처리 장치.
제 5 항에 있어서,

상기 개선된 신호(EV)를 디스플레이하기 위한 수단(D)을 더 포함하는 비디오 신호 처리 장치.