KR20110097868A

KR20110097868A - 위상 평면 상관을 위한 적응형 주파수 도메인 필터링

Info

Publication number: KR20110097868A
Application number: KR1020117014242A
Authority: KR
Inventors: 고든 에프. 레든하겐
Original assignee: 에이티아이 테크놀로지스 유엘씨
Priority date: 2008-11-20
Filing date: 2009-11-20
Publication date: 2011-08-31
Also published as: JP2012509535A; US20100150225A1; US9300966B2; EP2359335A4; CN102282848B; CN102282848A; EP2359335A1; WO2010058291A1; JP5603341B2

Abstract

위상 평면 상관(PPC) 프로세스에서는, 후보 모션 벡터들을 발생시키는 것을 돕기 위해 적응형 주파수 도메인 필터링을 이용한다. PPC 프로세스를 적용하기 전에, 입력 이미지를 프리 필터링(pre-filtering)하는 것이 유익한 지를 결정한다. 선택적인 프리 필터링을 이용하게 되면, 이러한 프리 필터링없이 얻을 수 있는 것 보다, 더 신뢰성있고 일관된 PPC 표면들을 얻을 수 있게 된다. 필터는 주파수 도메인에서 적용되는데, 여기에서는 시간 도메인 칸벌루션은 훨씬 더 효율적인 컴포넌트 관련(component-wise) 제자리의 윈도우(in-place window)와의 곱셈이 된다. 계산된 퓨리에 표면들에서의 고주파수 콘텐츠의 에너지 측정은 이미지 내에서의 고주파수 콘텐츠의 정도를 평가한다. 먼저, 2개의 이미지들의 퓨리에 변환이 계산된다. 그런 다음, 퓨리에 표면들로부터 고주파수 콘텐츠가 추정된다. 윈도우 함수가 고주파수 에너지의 함수로서 계산된다. 윈도우는 퓨리에 표면들에 적용된다. 그런 다음, 변형된 퓨리에 표면들이 PPC 표면들에 공급된다.

Description

위상 평면 상관을 위한 적응형 주파수 도메인 필터링{ADAPTIVE FREQUENCY DOMAIN FILTERING FOR PHASE PLANE CORRELATION}

본 발명은 일반적으로 2개의 이미지들을 상관(correlate)시키는 것에 관한 것이다. 보다 구체적으로, 본 발명은 위상 평면 상관(phase plane correlation, PPC)의 이용에 관한 것이다.

이미지 프로세싱 응용들에서는, 디지털 데이터로부터 선명하고 고해상도(high resolution)의 이미지들 및 비디오를 얻는 것이 바람직하다. 모션 벡터 데이터(motion vector data)는 이미지의 중요한 부분들, 예를 들어 시간에 따라, 이를 테면 이미지의 하나의 프레임으로부터 다음 프레임으로 변경되는 것으로 결정되는 이미지의 부분들의 움직임의 속도 및 방향에 관련된 정보를 제공한다. 모션 벡터 데이터를 이용하는 응용들은 포맷 변환, 디인터레이싱(de-interlacing), 압축, 이미지 정합(image registration) 및 어떠한 타입의 시간적인 보간(temporal interpolation)이 필요한 다른 것들을 포함하지만, 오직 이것들로만 한정되지 않는다. 포맷 변환의 예들은, 1) NTSC 비디오 레이트의 HDTV 비디오 레이트로의 변환과 같은 프레임 레이트 변환(frame rate conversion), 2) 인터레이싱된 비디오의 프로그레시브 비디오(progressive video)로의 변환, 및 3) 통상의 DVD 포맷 비디오에서의 3:2 풀다운 아티팩트(3-to-2 pulldown artifact)의 제거를 포함한다. 비디오 데이터 압축 프로세스들은 또한 정확한 모션 벡터 데이터로부터 이득을 얻는다.

압축은 종종 제한된 대역폭을 통한 데이터의 유용한 전송을 허용하기 위해 이용된다. 대중적인 비디오 압축 알고리즘들은, 예를 들어 MPEG2, MPEG4, H.26L 등과 같은 비디오 압축 표준들을 이용한다. 정확한 모션 벡터 데이터 분석으로부터 이득을 얻는 다른 응용은, 이를 테면 팬(pan), 틸트(tilt) 또는 줌(zoom)에 대한 디스플레이 효과를 제조하는 데에 유용한 카메라 파라미터들의 전체적인 추정(global estimation)과 같은, 디스플레이 특수 효과의 제조이다.

텔레비젼 신호들의 디지털 프로세싱(예를 들어, 엔코딩, 전송, 저장 및 디코딩)은, 실제적인 문제로서, 모션 벡터 데이터의 이용을 필요로 한다. 전형적으로 텔레비젼 신호는 시간 도메인에서의 샘플링 이전에 나이퀴스트 기준(Nyquist criterion)에 의해 요구되는 방식으로 필터링되지 않기 때문에, 모션 벡터 데이터가 필요하게 된다. 따라서, 무빙 이미지(moving image)는 일시적으로 가명(alias)이 붙는 정보를 포함한다. 이에 따라, 통상의 선형 보간 기술들은 시간 도멘인에서 성공적이지 않다.

ITU-T(International Telecommunication Union Tele-communication Standardization Sector)는 이미지 신호들을 엔코딩하고, 저장하고 전송하는 방법들로서 H.261 및 H.262 표준들을 권고한다. ISO(International Organization for Standardization)는 MPEG-1(11172-2) 및 MPEG-2(13818-2)를 권고한다. 이러한 표준들에 기초하는 방법들은 비디오 신호들을 엔코딩할 때에 모션 보상을 위해 프레임간 예측(inter frame prediction)을 채택한다.

프레임간 예측은 비디오 데이터의 인식되는 리던던시 특성에 기초한다. 비디오 신호들은 프레임 별로(from frame to frame) 고도의(highly) 리던던트 정보를 포함한다(소정 프레임의 많은 이미지 요소들은 움직이지 않으며, 이에 따라 후속 프레임에서 반복될 것이다). 이는, 예를 들어 특수 효과의 결과로서 발생되는 프레임들, 또는 비디오 신호의 선명도(definition)를 증가시키기 위해 발생되는 프레임들에 대해서도 마찬가지이다. 모션 보상된 프레임간 예측은, 비디오 프레임들의 시퀀스를 기술(describe)하거나, 또는 예를 들어 인터레이싱된 비디오 신호로부터 프로그레시브 스캔 비디오 신호를 발생시킬 때에 생성되는 것들과 같은 이미지 프레임들을 생성하는 데에 요구되는 데이터의 양을 줄이기 위해 프레임간 리던던시(inter frame redundancy)를 이용하는 기술이다. 이러한 동작들을 수행하기 위해서는, 프레임간 움직임(motion)을 정확하게 결정하는 것이 중요하다.

움직임 결정을 위한 하나의 전형적인 방법은 이미지 도메인에서 수행된다. 이 방법은 (이전의) 기준(reference) 이미지 프레임으로부터의 블록들을 (기준 프레임에 후속하는) 현재 프레임과 매치시키고자 시도한다. 많은 소위 블록 매칭 방법들은, 기준 이미지 프레임 내의 모든 블록들과 현재 이미지 프레임의 블록 내의 픽셀들의 차이들의 절대값들을 계산함으로써 시작된다. 가장 작은 차이를 갖는 현재 이미지 프레임 내의 블록이 매치하는 것으로 결정된다. 현재 프레임 내의 블록과 기준 프레임 내의 해당하는 매칭 블록 간의 변위(displacement)는 수평 및 수직 변위 컴포넌트들에 의해 특징화됨으로써, 모션 벡터를 생성한다. 이러한 절차는 풀 서치 절차(full-search procedure)로서 알려져있다.

움직임 검출을 위한 다른 방법은, 이미지 평면이 아닌, 위상 평면(phase plane)을 이용한다. 이러한 위상 평면 움직임 검출의 예는, 그 명칭이 "PHASE PLANE CORRELATION MOTION VECTOR DETERMINATIONMETHOD"인 Biswas 등의 미국 특허 제7,197,074호에서 설명되며, 이는 그 전체가 완전히 설명되는 것 처럼 본원의 참조로서 통합된다. 위상 평면 상관(PPC)은 2개의 이미지들을 상관시키기 위한 효율적인 기술이다. 주파수 도메인에서는, 현재 이미지 프레임의 특정 블록과 기준 이미지 프레임의 해당 블록 간의 위상 시프트(위상 차이)에 의해 움직임이 표시된다. 이러한 위상 차이의 역 퓨리에 변환에 의해 얻어지는 상관 표면(correlation surface)은 움직인 픽셀들의 양 및 픽셀 움직임의 크기를 나타낸다. 이러한 기술은 모션 벡터를 직접 결정할 수 있는 장점을 갖는다. 하지만, 위상 평면 상관 모션 벡터 결정 기술들은 현재의 비디오 프로세싱 요구들을 충족시키지 못한다. 픽셀들에 대해 모션 벡터들을 잘못 할당(assignment)하는 가능성을 줄이면서, 이미지 내에서의 움직임을 계산할 수 있는 효율적인 방법이 여전히 필요하다.

현재 통상의 위상 평면 상관(PPC)은 상관 표면을 생성하는 바, 여기에서는 피크들 및 그 각각의 진폭들이 이미지 휘도(image luminance)에 있어서의 유사성(similarity)의 직접적인 표시이다. 통상의 PPC 기술에서는, 휘도에 있어서의 차이점을 감소시킴으로써, 단순한 상관 보다 더 식별력이 있는 노멀라이즈된(normalized) 상관 표면을 생성하는 노멀라이제이션 단계(normalization step)가 있다. 하지만, 전형적인 PPC 시도는 다른 입력 이미지 콘텐츠(input image content)를 적절히 처리하지 못한다.

PPC 상관 표면에 기초한 표준 휘도는 다음과 같이 얻어진다.

이 방정식은 "PPC에 기초하는 휘도(luminance based PPC)"로서 지칭된다. I, F 및 F^- ¹는 각각 이미지 휘도, 퓨리에 변환 및 역 퓨리에 변환이다.

도 1은 (종래 기술에 따른) PPC 이미지 상관을 위한 기존의 배열의 일부를 나타내는 블록도이다. 시간 도메인에서의 제 1 이미지를 나타내는 휘도 신호(LUMA 1)는 제 1 고속 퓨리에 변환(FFT1)에 의해 제 1 주파수 도메인 신호(F1)로 변환된다. 제 2 이미지를 나타내는 휘도 신호(LUMA 2)는 제 2 고속 퓨리에 변환(FFT2)에 의해 제 2 주파수 도메인 신호(F2)로 변환된다. 다음 식에 따라 위상 평면 상관기(phase plane correlator)(102)에서 정의된 윈도우(defined window)에서 위상 평면 상관이 수행된다.

위상 평면 상관기(102)로부터의 주파수 도메인 신호는 역 고속 퓨리에 변환(IFFT)에 의해 다시 시간 도메인으로 변환되어, 위상 평면 상관된 표면을 제공한다.

PPC가 최적으로 이루어지기 위해서는, 변위(하나의 프레임으로부터 다음 프레임으로 움직임)를 겪는 대상(object)들이 잘 정의될 필요가 있다. 이는 이러한 대상들의 경계들이 뚜렷한(sharp) 에지들에 의해 정의되어야 함을 의미한다. 하지만, 입력 이미지가 매우 높은 주파수를 갖는 다면, 예를 들어 나이퀴스트 주파수(Nyquist frequency)에 가깝다면, 경계들을 명확히 정의하기가 어렵다. 저역 통과 필터(low-pass filter)를 이용하여 입력 이미지를 선처리(pre-process)하는 것이 종종 바람직하다. 하지만, 이러한 선처리는 문제가 될 수 있다. 이미지 콘텐츠의 주파수 극단(frequency extremes)은 동일한 필터에 의해 적절하게 처리될 수 없다. 또한, 시간 도메인에서의 필터링은 계산적으로 복잡한 2차원 컨벌루션(convolution)을 수행할 것을 요구한다. 다양한 응용들에 대해, 이것은 금지되어 있다(즉, 불가능하다).

본 섹션은 본 발명의 일부 양상들을 간략하게 설명하고, 일부 바람직한 실시예들을 간단하게 소개하는 것을 목적으로 하고 있다. 본 섹션의 목적을 애매하게 하는 것을 피하기 위해, 단순화 또는 생략이 이루어질 수 있다. 이러한 단순화 또는 생략은 본 발명의 범위를 제한하는 것으로 의도되지 않는다. 여기에서 구현되고 개략적으로 설명되는 본 발명의 원리에 따라, 본 발명은 하기에 설명하는 것들을 포함한다.

일반적으로, 본 발명은 개선된 위상 평면 상관(PPC) 기술들을 관한 것이며, 방법 및 장치를 모두 포함한다. 본 발명의 일 실시예에 따른 PPC 기술은, PPC를 이용하여 이미지 상관을 결정할 때에 후보(candidate) 모션 벡터들의 발생을 돕기 위해 적응형 주파수 도메인 필터링(adaptive frequency domain filtering)을 이용한다.

본 발명의 일 실시예에 따르면, 통상의 PPC 프로세스를 적용하기 전에, 입력 이미지를 프리 필터링(pre-filtering)하는 것이 유익한 지를 먼저 결정한다. 프리 필터링이 바람직한 것으로 결정되면, 프리 필터링이 수행된다. 한편, 프리 필터링이 필요없는 것으로 결정되면, 프리 필터링은 수행되지 않으며, 어떠한 프리 필터링도 없이 통상의 PPC 프로세스가 진행된다. 선택적인 프리 필터링을 이용하게 되면, 이러한 프리 필터링없이 얻을 수 있는 것 보다, 더 신뢰성있고 일관된 PPC 표면들을 생성하게 된다.

프리 필터링에 관한 결정 및 프리 필터링은 적응형 주파수 도메인 필터를 이용하여 수행된다. 프리 필터링은 주파수 도메인에서 수행되는데, 여기에서는 제자리의 윈도우(in-place window)와 곱셈(multiplication)을 수행하는 컴포넌트들을 효율적으로 이용하여, 시간 도메인 컨벌루션이 효과적으로 수행된다. 계산된 퓨리에 표면들에서 이미지 고주파수 콘텐츠의 에너지를 측정하여, 그 이미지 내에서의 고주파수 콘텐츠의 정도(degree)를 측정한다. 그런 다음, 이러한 고주파수 콘텐츠의 양을 이용하여, 필터링 프로세스를 제어 또는 "적응(adapt)"시킨다.

통상의 위상 평면 방식은 완전히 노멀라이즈된 분자(numerator)를 이용한다. 응용에 따라, 이것이 항상 필요한 것은 아니다. 대조적으로, 여기에서 설명되는 본 발명에 따르면, 주파수 스펙트럼을 "화이트닝(whitening)"하는 데에 이용되는 분모(denominator)를 노멀라이즈하는 것은 주파수 대역 특정 콘텐츠를 보다 더 적절하게 가능성있게 처리하도록 조정될 수 있다. 고주파수 추정기(316)의 측면에서, 주파수 표면에서의 콘텐츠의 상대적인 분포에 기초하여 더 적은 또는 더 큰 정도로 화이트닝하는 것을 선택할 수 있다. 예를 들어, 이미지 콘텐츠가 주로 고주파수들이라면, 멱지수(exponent)는 그렇지 않는 경우 보다 더 커질 수 있다. 반대로, 이미지 콘텐츠가 실제로 더 좁은 대역에 있다면(narrow banded)(보다 덜 고주파수 성분들이라면), 그렇지 않은 경우 보다 더 작은 노멀라이징 멱지수를 선택할 수 있다.

실제 응용들에서는, 기본적인 응용의 특성 및 목적에 기초하여, 노멀라이징 멱지수의 프로파일 또는 스케쥴이 개발될 수 있다. 하나 이상의 프로파일들의 안출(devising) 및 선택은 후보 모션 벡터들의 정확성(precision), 정도(extent), 차별화(differentiation)를 평가할 수 있게 한다.

여기에서 설명되는 기술들은 진보된 비디오 프로세싱에서, 특히 프레임 레이트 변환을 위한 위상 평면 상관이 이용될 때에 유용하다. 가짜(spurious) 모션 벡터 후보들의 수를 줄이는 것이 실행시의 주된 관심사이다. 이에 따라, 본 발명의 실시예들에 대한 응용들은 비디오 프레임 상관, 비디오 데이터 압축 및 비디오 프로세싱 시스템들을 포함한다.

본 발명의 일 실시예에 따른 방법은,

ⅰ) 제 1, 2 이미지들의 퓨리에 변환을 계산하는 단계와;

ⅱ) 퓨리에 표면들로부터 직접 고주파수 콘텐츠를 추정하는 단계와;

ⅲ) 추정된 고주파수 에너지의 함수인 윈도우 함수(window function)를 계산하는 단계와;

ⅳ) 퓨리에 표면들에 윈도우를 적용하는 단계와; 그리고

ⅴ) 변형된 퓨리에 표면들을 PPC 표면들에 제공하는 단계를 포함한다.

본 발명의 다른 실시예들, 특징들 및 장점들 뿐 아니라, 본 발명의 다양한 실시예들의 구조 및 동작은 첨부 도면들을 참조하여 하기에서 상세히 설명된다.

본 발명은 첨부 도면들을 참조하여 설명된다. 도면들에서, 동일한 참조 부호들은 같거나 또는 기능적으로 유사한 요소들을 나타낸다. 어떠한 요소가 처음 나타나는 도면은 해당 참조부호에서 가장 왼쪽 숫자에 의해 표시된다.
도 1은 (종래 기술에 따른) PPC 이미지 상관을 위한 기존의 배열의 일부를 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 적응형 주파수 도메인 필터링을 포함하는 PPC 이미지 상관을 위한 배열의 블록도이다.
도 4는 고주파수 추정기(314)에서 일어나는 고주파수 추정의 개념을 도시하는 주파수 평면의 이미지(도 2의 F1 또는 F2)의 그래픽적인 표현이다.
도 5는 고주파수 추정기(314)에 의해 수행되는 고주파수 추정 결과의 그래픽적인 표현이다.
도 6은 도 3에서 일반적인 블록으로서 나타낸 고주파수 추정기(314)의 블록도이다.
도 7은 고주파수 추정기(314) 및 적응형 윈도우 함수 발생기(adaptive window function generator)(316)의 일 실시예의 블록도이다.
도 8은 도 3에서 일반적인 블록으로서 나타낸 위상 평면 형성 모듈(phase plane forming module)(326)의 블록도이다.
본 발명의 특징들 및 장점들은 도면들을 참조하여 하기 설명되는 상세한 설명으로부터 보다 명확해질 것이며, 도면들에서 도일한 참조 기호(character)들은 전체적으로 대응하는 요소들을 식별한다. 도면들에서, 동일한 참조 부호들은 일반적으로 동일하거나, 기능적으로 유사하고, 그리고/또는 구조적으로 유사한 요소들을 나타낸다. 어떠한 요소가 처음 나타나는 도면은 해당 참조부호에서 가장 왼쪽 숫자(들)에 의해 표시된다.

본 발명의 다양한 실시예들에 대한 하기의 설명으로부터 본 발명을 더 잘 이해할 수 있을 것이다. 따라서, 특정의 실시예들은 발명의 양상들(views)이지만, 각 실시예 자체가 전체 발명을 나타내는 것은 아니다. 많은 경우들에 있어서, 일 특정 실시예로부터의 개별적인 요소들은, 다른 실시예에서는 유사한 또는 대응하는 기능을 수행하는 다른 요소들로 대체될 수 있다. 여기에서 개시되는 교시를 이용할 수 있는 당업자라면, 본 발명의 범위 내에서 그리고 본 발명이 상당히 유용하게 될 부가적인 분야들에서, 부가적인 변경들, 응용들 및 실시예들을 인식할 것이다.

본 발명은 위상 평면 상관 방식이 이용될 때에 후보 모션 벡터들의 발생을 돕기 위해 적응형 주파수 도메인 필터링을 이용하는 위상 평면 상관(PPC) 기술을 제공한다. PPC 프로세스를 적용하기 전에, 입력 이미지를 프리 필터링하는 것이 유익한지를 결정한다. 프리 필터링이 유익하다면, 적응형 주파수 도메인 필터를 이용하여 프리 필터링을 수행한다. 이에 의해, 그렇지 않은 경우 보다 더 신뢰성있고 일관된 PPC 표면들을 생성하게 된다.

도 2는 본 발명의 일 실시예에 따른 위상 평면 상관 방법(200)의 흐름도이다. 이것은 본 발명의 일반적인 원리, 즉 위상 평면 상관된 표면의 상관 및 정확도를 개선하기 위해 위상 평면 이미지들을 선택적으로 프리 필터링하는 원리를 설명한다. 단계(210)에서, 시간 도메인에서 LUMA 1에 의해 표현되는 제 1 이미지는 주파수 도메인으로 변환되어, 주파수 도메인 신호(F1)를 형성한다. 이 단계는 고속 퓨리에 변환에 의해 수행될 수 있다. 단계(212)에서, 시간 도메인에서 LUMA 2에 의해 표현되는 제 2 이미지는 주파수 도메인으로 변환되어, 주파수 도메인 신호(F2)를 형성한다. 이 단계 역시 고속 퓨리에 변환에 의해 수행될 수 있다. 단계(213)에서, 위상 평면 이미지들(F1 및 F2)과 같은 이미지에서의 고주파수 에너지의 양이 결정된다. 단계(214)에서는, 단계(213)에서 결정된 고주파수 성분들의 에너지에 기초하여 프리 필터링이 바람직한 지를 결정한다. 프리 필터링이 바람직한 것으로 결정되면, 단계(216)에서, 적응형 필터링 프로세스를 이용하여 프리 필터링을 수행한다. 적응형 필터링은, 위상 평면 이미지들(F1 및 F2) 내에 존재하는 고주파수 콘텐츠의 양에 기초하여 발생되는 적응형 윈도우(adaptive window)를 발생시켜 이용함으로써 수행된다. 위상 평면 이미지들(F1 및 F2) 내에 존재하는 고주파수 콘텐츠의 양은 프리 필터링에 대해 이용되는 윈도우 함수의 형상을 결정하는 데에 이용된다. 주목할 사항으로서, 본 발명의 다양한 실시예들에서, 적응형 윈도우는 단지 위상 평면 이미지(F1)에만 존재하는 고주파수 콘텐츠에 기초하거나, 단지 위상 평면 이미지(F2)에만 존재하는 고주파수 콘텐츠에 기초하거나, 또는 위상 평면 이미지들(F1 및 F2) 모두에 존재하는 고주파수 콘텐츠에 기초할 수 있다. 적응형 윈도우 함수는, 주파수 표면들 내의 콘텐츠의 상대적인 분포에 기초하여 더 적은 정도 또는 더 큰 정도로 화이트닝하는 것을 선택하는 것이 가능하도록 제어될 수 있다. 고주파수 콘텐츠는 위상 평면 이미지들(F1 및 F2)의 에지 부분(edge portion)에서 측정되는 것이 바람직하다. 예를 들어, 이미지 콘텐츠가 주로 고주파수들을 포함하도록 되어 있다면, 멱지수는 그렇지 않은 경우 보다 더 크게 될 수 있다. 반대로, 이미지 콘텐츠가 실제로 더 좁은 대역에 있다면, 노멀라이징 멱지수는 그렇지 않은 경우 보다 더 좁게 될 수 있다. 일반적으로, 후보 모션 벡터들의 정확성 및 차별화의 정도를 평가하는 것을 가능하게 하는 정확한 특성 및 목적에 따라, 노멀라이징 멱지수의 임의의 프로파일 또는 스케쥴이 개발될 수 있다.

프리 필터링이 수행되는 지의 여부에 상관없이, 단계(220)에서, 상관이 수행된다. 단계(220)의 상관 결과는 단계(222)에서 역 퓨리에 변환되어, 단계(224)에서 시간 도메인에서 위상 평면 상관된 표면을 제공한다.

도 3은 본 발명의 일 실시예에 따라 적응형 주파수 도메인 필터링을 포함하는 PPC 이미지 상관을 위한 배열의 블록도이다. 시간 도메인에서 신호(LUMA 1)에 의해 표현되는 제 1 이미지는 고속 퓨리에 변환 모듈(310)에 의해 주파수 도메인으로 변환되어, 위상 평면 이미지(F1)를 제공한다. 시간 도메인에서 신호(LUMA 2)에 의해 표현되는 제 2 이미지는 고속 퓨리에 변환 모듈(312)에 의해 주파수 도메인으로 변환되어, 위상 평면 이미지(F2)를 제공한다.

위상 평면 이미지들(F1 및 F2)은 고주파수 추정기(314)에 입력되며, 이러한 고주파수 추정기(314)는 FFT 표면의 총 에너지 및 이 FFT 표면의 고주파수 에너지를 추정하도록 구성된다. 이에 따라, 고주파수 추정기(314)는 FFT 표면들(F1 및 F2)의 총 에너지 및 고주파수 에너지 콘텐츠를 모두 제공한다. 총 에너지 추정치는 출력(340)에 제공되고, 고주파수 추정치는 출력(342)에 제공된다. 고주파수 추정기(314)에 의해 수행되는 프로세스는 하기에서 도 6과 관련하여 더 설명된다. 총 에너지 추정치 및 고주파수 에너지 추정치는 적응형 윈도우 함수 발생기(316)에 제공된다.

적응형 윈도우 함수 발생기(316)는 위상 평면 이미지들(F1 및 F2)의 적응형 필터링을 수행하는 데에 이용되는 적응형 윈도우를 제공한다. 이러한 적응형 윈도우는, 고주파수 추정기(314)에 의해 제공되는, 위상 평면 이미지들(F1 및 F2) 내에 존재하는 고주파수 콘텐츠의 양에 기초하여 발생된다. 본질적으로, 위상 평면 이미지들(F1 및 F2) 내에 존재하는 고주파수 콘텐츠의 양은 적응형 위도우 함수 발생기(316)에 의해 발생되는 윈도우 함수의 형상을 결정하는 데에 이용된다. 본질적으로, 적응형 윈도우 함수 발생기(316)는 총 에너지 값 및 고주파수 에너지 값에 기초하여 윈도우 함수를 계산한 다음, 계산된 윈도우 함수에 기초하여 윈도우를 발생시킨다.

고주파수 추정기(314) 및 적응형 윈도우 함수 발생기(316)의 동작은, 주파수 표면들 내의 콘텐츠의 상대적인 분포에 기초하여 더 적은 정도 또는 더 큰 정도로 화이트닝하는 것을 선택하는 것이 가능하도록 제어될 수 있다. 예를 들어, 이미지 콘텐츠가 주로 고주파수들을 포함하도록 되어 있다면, (하기의) 방정식 2의 분모항에서의 멱지수는 그렇지 않은 경우 보다 더 크게 될 수 있다. 반대로, 이미지 콘텐츠가 실제로 더 좁은 대역에 있다면, 노멀라이징 멱지수는 그렇지 않은 경우 보다 더 좁게 될 수 있다. 일반적으로, 후보 모션 벡터들의 정확성 및 차별화의 정도를 평가하는 것을 가능하게 하는 정확한 특성 및 목적에 따라, 노멀라이징 멱지수의 임의의 프로파일 또는 스케쥴이 이용될 수 있다.

윈도우 함수 발생기(316)는 고주파수 추정기(314)로부터 FFT 표면에서의 총 에너지 및 고주파수 에너지의 추정치들을 수신하도록 구성된다. 도 3에서, 이러한 추정치들은 각각 라인들(340 및 342) 상에 나타내었다. 총 에너지 및 고주파수 에너지는 FFT 표면에 적용될 가중화 함수(weighting function)를 결정하는 데에 이용된다. 또한, 블록(360)에서, 사용자 정의 함수(user-defined function)를 이용하여 이러한 2개의 입력 값들로부터 멱지수 알파(exponent alpha)가 결정된다. 사용자 정의 함수는 닫힌 형태 분석 방정식(closed-form analytic equation)에 의해 표현되거나, 또는 룩업 테이블(lookup table)에 의해 표현될 수 있다. 주목할 사항으로서, 본 발명의 다양한 실시예들에서, 멱지수 알파는 단지 위상 평면 이미지(F1)에만 존재하는 고주파수 콘텐츠에 기초하거나, 단지 위상 평면 이미지(F2)에만 존재하는 고주파수 콘텐츠에 기초하거나, 또는 위상 평면 이미지들(F1 및 F2) 모두에 존재하는 고주파수 콘텐츠에 기초할 수 있다.

도 4와 관련하여 더 설명되는 바와 같이, 고주파수 콘텐츠는 위상 평면 이미지들(F1 및 F2)의 에지 부분에서 결정되는 것이 바람직하다. 윈도우 함수는 적응형 윈도우 함수 발생기(316)의 출력들에서 W1 및 W2에 의해 표현된다. 위상 평면 이미지(F1)는 믹서(mixer)(318)의 입력들에 F1 및 윈도우 함수를 제공함으로써 윈도우 함수(W1)에 의해 윈도우화되며(windowed), 상기 믹서(318)는 제 1 윈도우화된 표면(windowed surface)을 출력(320)에 제공한다. 위상 평면 이미지(F2)는 믹서(322)의 입력들에 F2 및 윈도우 함수를 제공함으로써 윈도우 함수(W2)에 의해 윈도우화되어, 제 2 윈도우화된 표면을 출력(324)에 제공한다. 주목할 사항으로서, W1 및 W2는 다른 함수들이거나, 또는 기호(W)에 의해 나타낸 바와 같이 동일한 함수가 될 수 있다. 위상 평면 형성 모듈(326)은 제 1, 2 윈도우화된 표면들을 처리하여, 그 출력(328)에서 이러한 신호들에 기초하여 위상 평면을 형성한다. 도 8은 이러한 위상 평면 형성 모듈(326)을 보다 상세하게 나타낸다. 본질적으로, 위상 평면 형성 모듈(326)은 주파수 화이트닝된 스펙트럼(frequency whitened specturm)을 제공한다. 이러한 위상 평면 형성 모듈(326)의 동작은 다음과 같이 표현될 수 있다.

위상 평면 형성 모듈(326)의 출력(328)은 역 고속 퓨리에 변환 모듈(330)의 입력에 결합되며, 이러한 역 고속 퓨리에 변환 모듈(330)은 위상 평면 상관된 이미지 표면을 제공한다. 이후, 이러한 표면은 통상의 위상 평면 상관(PPC) 프로세싱 시스템에 공급될 수 있다.

적응형 윈도우 함수 발생기(316)에 의해 제공되는 적응형 윈도우 함수는 다양한 방식으로 계산될 수 있다. 이제, 이러한 윈도우 함수를 어떻게 계산할 수 있는 지를 설명하는 일 실시예에 대해 설명한다. 이러한 실시예에 따르면, 발생되는 윈도우 함수의 형상은 FFT(310) 및 FFT(312)에서 2차원 퓨리에 변환들에 의해 계산되는 주파수 도메인 표면의 주파수 콘텐츠에 적어도 부분적으로 기초한다. 예시적인 일 실시예에 따르면, 윈도우 함수에 대한 하나의 가능한 행동(behavior)은 주파수 도메인 표면들에 존재하는 고주파수 콘텐츠의 양에 기초하여 윈도우 형상을 변경하는 것이다. 예를 들어, 고주파수 콘텐츠가 상당히 존재하는 주파수 도메인 표면의 영역을 정의하고, 그 표면의 전체 에너지에 대한 그 영역의 이러한 에너지의 비율(ratio)을 계산하는 것이 가능하다. 이러한 비율은 "0" 내지 "1" 범위의 수에 의해 표현된다. 이러한 비율은 고주파수 콘텐츠 내에서의 적응형 윈도우의 드랍 오프(drop off) 비율을 제어하는 데에 이용된다. 예를 들어, 적응형 윈도우의 형상을 제어하는 방정식의 하나의 버전은 방정식 1로서 나타난다. 방정식 1은 2차원 가우션 윈도우 함수(Gaussian window function)를 나타낸다.

(방정식 1)

여기서,

는 노멀라이제이션 상수이다.

및

의 값들은 비율의 함수들이다. 이를 테면, 이러한 2개의 파라미터들이 비율에 비례적으로 관련(tie)된다면, 이러한 비율은 더 작아질 것이며, 윈도우잉 함수는 더 평평해질 것이다. 만일 이들이 반비례적으로 관련된다면, 비율은 더 커질 것이며, 윈도우 함수는 더 빠르게 감쇠(decay)될 것이다.

대안으로서, 총 에너지에 대한 고주파수 에너지의 비율을 이용하여, PPC 프로세스에서 이용되는 노멀라이제이션 프로세스를 제어할 수 있다. 방정식 2는 부분적으로(fractionally) 노멀라이즈된 위상 평면 상관을 나타낸다.

(방정식 2)

이러한 방정식 2는 분모 상에 멱지수를 포함한다. 이러한 분모 상의 멱지수는 주파수 도메인 내의 스펙트럼이 "화이트닝"되는 정도를 조정할 수 있게 한다. 예를 들어, 멱지수가 1(unity)이라면, 결과는 통상의 PPC이다. 멱지수가 0이면, 결과는 통상의 상호 상관(cross-correlation)이다. 하지만, 멱지수가 0과 1 사이라면, 부분 노멀라이제이션(fractional normalization)이 일어난다. 또한, 멱지수 값이 직관적으로 쉽게 이해되지 않을지라도, 멱지수는 1 보다 클 수 있다. 노멀라이제이션이 일어나는 정도는 좁은 대역 또는 넓은 대역 노이즈가 존재하느냐에 의존한다. 일반적으로, 멱지수는 주파수 표면의 어떠한 임의의 함수(arbitrary function)가 될 수 있다.

도 4는, 예를 들어 위상 평면 이미지(F1) 또는 위상 평면 이미지(F2)와 같은 위상 평면 이미지(400)의 그래픽 표현이다. 이 도면은 고주파수 추정기(314)에 의해 수행되는 고주파수 추정의 개념을 설명하는 것을 돕는다. 위상 평면 표면(400)의 에지 영역들(410)은 고속의 퓨리에 변환(FFT) 표면의 고주파수 영역들을 나타낸다. 모션 벡터는, 예를 들어 위상 평면 표면(400)의 중심 영역(412)의 어딘가에 있을 것이다. 본질적으로, 이러한 그래픽 표현은 주파수 도메인 포인트들의 매트릭스(matrix)의 표현이다. 410과 같은 에지 영역에 위치하는 이러한 각각의 포인트의 에너지가 계산된다. 그런 다음, 이러한 포인트들의 에너지들을 더하여, FFT 표면의 "고주파수" 성분들에 존재하는 총 에너지를 결정한다. 이러한 총 에너지를 나타내는 신호는 도 3의 고주파수 추정기(314)로부터 적응형 윈도우 함수 발생기(316)의 입력으로 연결되는 신호이다.

도 5는 고주파수 추정기(314)에 의해 수행되는 고주파수 추정의 결과에 대한 그래프이다. 곡선은 적응형 윈도우 함수 발생기(316)에 의해 생성된 윈도우 함수의 형상의 예들을 나타낸다. 도 5의 좌측 부분은 위상 평면 이미지(F1) 또는 위상 평면 이미지(F2)와 같은 이미지의 고주파수 성분들 내에 적은 양의 에너지가 있는 경우에 대한 예시적인 윈도우 함수를 도시한다. 도 5의 우측 부분은 위상 평면 이미지(F1) 또는 위상 평면 이미지(F2)와 같은 위상 평면 이미지의 고주파수 성분들 내에 더 많은 양의 에너지가 있는 경우에 대한 예시적인 윈도우 함수를 도시한다.

도 6은 도 3의 개략적인 블록에 도시된 고주파수 추정기(314)의 동작을 더 설명하는 블록도이다. FFT(310)에 의해 생성된 F1 또는 FFT(312)에 의해 생성된 F2와 같은 주파수 표면 F는 분석 모듈(parsing module)(602) 및 분석 모듈(604)에 의해 분석된다. 고주파수 계산 모듈(606)은 사용자가 정의한 마스크, 또는 가중화 함수(weighting function)을 사용하여 고주파수 에너지에 대한 추정값을 계산한다. 이 고주파수 에너지 추정값은 고주파수 추정기(314)의 출력부(342)에 제공된다. 총 에너지 계산 모듈(608)은 사용자가 정의한 마스크, 또는 가중화 함수를 사용하여 총 에너지의 추정값을 계산한다. 이 총 에너지 추정값은 고주파수 추정기(314)의 출력부(340)에 제공된다.

특정 응용들에 대한 결과들을 최적화하기 위하여 서로 다른 마스킹 또는 가중화 함수들이 사용될 수 있다. 예를 들어, 상기 함수는 FFT 표면에서의 요소들에 대응하는 실수들(real valued numbers)을 사용하는 간단한 가중화 함수일 수 있다. 에너지 계산은, 예를 들어, FFT 어레이의 각각의 엔트리에서 복소 페이저(complex phasor)의 크기일 수 있다. 분석 및 계산은 연속적으로 또는 동시에 수행될 수 있다. 이러한 기능들은 프로세서상에서 실행되는 소프트웨어 또는 배선 회로(hard-wired circuit)에 의해 수행될 수 있다.

도 7은 고주파수 추정기(314) 및 적응형 윈도우 함수 발생기(316)의 일 실시예의 블록도이다. FFT 표면은, 예를 들어 도 3에 도시된 FFT(310)와 같은 FFT에 의해 생성된다. 이 표면은 도 7에서 "S"로 표현된다. S는 도면에 도시된 것과 같이 복소 페이저 S로 표현될 수 있는 주파수 도메인 표면이다. 표면 S는 이 예에서, 총 에너지 추정기(704) 및 고주파수 추정기(706)를 포함하는 고주파수 추정기(314)에 입력된다. 총 에너지 추정기(704)는 표면 S의 총 에너지의 추정값 E1을 제공한다. 고주파수 에너지(706)는 예를 들어, 도 4에 도시된 영역(410)에 있는 것과 같은 표면 S의 고 주파수 에너지의 추정값 E2를 제공한다. E1은 각각의 주파수에서 신호의 활동(activity)의 척도(measure)를 나타낸다. 표면 상의 각각의 요소는 퓨리에 변환의 (정의에 의한) 수직 및 수평 주파수 성분들의 결합(combination)을 나타낸다. E1을 계산하여, 본래 신호를 표현하기 위하여 무슨 파형들이 필요하고 그리고 그 파형들이 얼마나 많이 필요한지에 대한 스냅샷(snapshot)을 얻는다. E2는 어떤 소정 주파수보다 높은 주파수들에서 신호의 활동의 척도를 나타낸다. 적응형 윈도우 함수 발생기(316)는 윈도우 함수 발생기(708) 및 윈도우 발생기(710)를 포함한다. 윈도우 함수는 에너지 E1 및 에너지 E2에 근거하여 윈도우 함수 발생기(708)에 의해 계산된다. 윈도우 함수 발생기(708)에 의해 생성되는 함수는 윈도우 발생기(710)에 의해 사용되어 (도 3에 도시된 믹서(318 또는 322)에 입력될) 실제 윈도우를 생성한다.

도 3에 도시된 블록들에 의해 수행되는 프로세싱은 다음의 항,

(방정식 3)

을 계산하고 형성한다.

방정식 3은 부분 노멀라이제이션된 가중된 위상 평면 상관을 나타낸다. 도 6의 출력(342) 대 출력(342)으로 산출된 비율을 검사함으로써, 또는 앞서 설명된 바와 같이 룩업 테이블에 의해, 멱지수가 계산된다. 이는 위의 식에 표시된 것과 같은 멱지수 항을 형성한다.

도 8은 도 3에서 개략적인 블록으로 도시된 위상 평면 형성 모듈(326)의 동작을 더 설명하는 도면이다. 위상 평면 형성 모듈(326)은 입력들(320, 324)을 수신하고 출력(328)을 제공한다. 입력들(320, 324) 및 출력(328)으로 구성된 위상 평면 형성 모듈(326)의 내부 성분들은 복소 벡터(complex vector)(800), 멱승기(exponentiator)(801) 및 인버터(802)에 대한 유클리드 놈 오퍼레이션(Euclidean norm operation)으로 이루어지는바, 상기 복소 벡터(800), 멱승기(801) 및 인버터(802)는 집합적으로, 위에서 부분 노멀라이즈된 가중된 위상 평면 상관을 나타내는 방정식 3의 분모로 표현된 기능들을 수행한다. 인버터(802)의 출력(805)은, 곱셈기(803)에 의해, 입력들(320, 324)을 수신하는 곱셈기(820)으로부터의 신호와 곱해진다. 곱셈기(803)의 출력은 부분 노멀라이즈된 위상 평면 출력(328)을 형성한다.

본 발명의 다양한 실시예들의 시뮬레이션, 합성(synthesis) 및/또는 제조는, 부분적으로, (C 또는 C++과 같은) 범용 프로그래밍 언어, 및 베릴로그 HDL, VHDL, 알테라 HDL(AHDL) 등을 포함하는 하드웨어 기술 언어(HDL: hardware description languages)를 포함하는 컴퓨터 판독가능 코드, 또는 다른 사용가능한 프로그래밍 및/또는 (회로 캡쳐툴과 같은) 스케메틱 캡쳐 툴(schematic capture tool)을 사용함으로써 달성될 수 있음을 인지해야한다. 이 컴퓨터 판독가능 코드는 반도체, 자기 디스크, (CD-ROM, DVD-ROM과 같은) 광학 디스크를 포함하는 임의의 알려진 컴퓨터 사용가능 매체에 수록될 수 있고 (반송파, 또는 디스크, 광학 또는 아날로그 기반 매체를 포함하는 임의의 다른 매체와 같은) 컴퓨터 사용가능(예를 들어, 판독가능) 전송 매체에 포함된 컴퓨터 데이터 신호로 있을 수 있다. 따라서, 코드는 인터넷(Internet) 및 인터넷들(internets)을 포함하는 통신 네트워크를 통해 전송될 수 있다. 상술한 시스템 및 기법에 의해 달성되는 기능들 및/또는 제공되는 구조는 프로그램 코드 내에 구현되는 (GPU 코어와 같은) 코어로 나타날 수 있으며, 집적 회로 생산의 일부로서 하드웨어로 변형될 수 있다

결론

본 발명은 위에서 특정 기능들의 구현을 도시하는 기능적 형성 블록들 및 그것들의 관계에 의해 설명되었다. 이러한 기능적 형성 블록들의 경계들은 설명의 편이를 위하여 본 명세서에서는 임의로 정의되었다. 특정 기능들 및 그것들의 관계가 적절하게 수행되는 한, 대안적인 경계들이 정의될 수 있다.

구체적인 실시예들에 대한 상기의 설명은, 당업자가, 과도한 실험을 행함이 없이, 그리고 본 발명에 대한 일반적인 개념으로부터 벗어남이 없이, 본 기술분야의 지식을 적용하여, 다양한 애플리케이션들을 위해 그러한 구체적인 실시예들을 수정 및/또는 적응할 수 있는 본 발명의 일반적인 특징을 보여준다. 그러므로, 그러한 적응 및 수정은 여기에 제시된 내용에 근거하여, 개시된 실시예들에 대한 등가의 범위 및 의미 내에 있도록 의도된 것이다. 본 명세서의 어법 또는 용어는 설명을 위한 것이며, 본 발명을 제한하기 위한 것이 아니고, 본 내용에 비추어 당업자에 의해 해석될 수 있는 것으로 이해되어야 한다.

본 발명의 예시적인 실시예들이 제시되었다. 본 발명은 이러한 예시적인 실시예들로 제한되지 않는다. 이러한 예들은 예시의 목적으로 제시된 것이지, 제한의 목적으로 제시된 것이 아니다. (여기에서 설명된 것들의 등가들, 확장들(extensions), 수정들, 변형들(deviations) 등을 포함하는) 대안들이 본원에 포함되는 교시에 기초하여 관련 분야의 당업자들에게 명백해질 것이다. 이러한 대안들은 본 발명의 범위 및 정신 내에 있다.

본 발명의 폭(breadth) 및 범위는 상기 설명된 예시적인 실시예들중 임의의 실시예에 의해 제한되지 않으며, 하기의 청구항들 및 그 등가들에 의해서만 정의되어야 한다.

Claims

위상 평면 상관된 표면(phase plane correlated surface)을 제조하기 위한 방법으로서,
(a) 제 1, 2 위상 평면 이미지들을 각각 생성하기 위해 제 1, 2 시간 도메인 이미지들을 디지털 디바이스에 의해 퓨리에 변환(Fourier transform)하는 단계와;
(b) 소정의 기준들에 기초하여, 상기 제 1, 2 위상 평면 이미지들을 프리 필터링(prefiltering)하는 단계와;
(c) 주파수 도메인 상관된 위상 평면 표면을 형성하기 위해, 상기 제 1, 2 위상 평면 이미지들을 상기 디지털 디바이스에 의해 상관시키는 단계와; 그리고
(d) 위상 평면 상관된 표면을 제공하기 위해, 상기 주파수 도메인 상관된 위상 평면 표면을 역(inverse) 퓨리에 변환하는 단계를 포함하는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 1 항에 있어서,
상기 프리 필터링은 상기 제 1, 2 위상 평면 이미지들을 변경되지 않은 상태로 두는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 1 항에 있어서,
상기 소정의 기준들은 상기 제 1, 2 위상 평면 이미지들의 주파수 콘텐츠와 관련되는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 3 항에 있어서,
상기 소정의 기준들은 상기 제 1, 2 위상 평면 이미지들의 에지(edge) 부분들에서의 이러한 이미지들의 주파수 콘텐츠와 관련되는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 1 항에 있어서,
상기 상관시키는 단계는 부분 노멀라이제이션(fractional normalization)을 포함하는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 5 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 0부터 1까지 범위의 값을 갖는 멱지수(exponent)를 이용하는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
제 5 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 닫힌 형태 분석 방정식(closed-form analytic equation) 또는 룩업 테이블(look-up table)에 의해 발생되는 멱지수 값을 이용하는 것을 특징으로 하는 위상 평면 상관된 표면을 제조하기 위한 방법.
디지털 디바이스에서의 위상 평면 상관 방법으로서,
(a) 제 1, 2 위상 평면 이미지들을 각각 생성하기 위해 제 1, 2 시간 도메인 이미지들을 퓨리에 변환하는 단계와;
(b) 상기 제 1, 2 위상 평면 이미지들의 고주파수 콘텐츠를 추정(estimating)하는 것에 응답하여, 윈도우 함수(window function)를 발생시키는 단계와;
(c) 제 1, 2 윈도우화된 표면들(windowed surfaces)을 각각 제공하기 위해, 상기 제 1, 2 위상 평면 이미지들 각각과 상기 윈도우 함수를 믹싱(mixing)하는 단계와;
(d) 주파수 도메인 상관된 위상 평면 표면을 형성하기 위해, 상기 제 1, 2 윈도우화된 표면을 상관시키는 단계와; 그리고
(e) 이미지 평면 상관 표면을 제공하기 위해, 상기 주파수 도메인 상관된 위상 평면 표면을 역 퓨리에 변환하는 단계를 포함하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 8 항에 있어서,
상기 고주파수 콘텐츠를 추정하는 것은, 상기 위상 평면 이미지 표면들중 적어도 하나의 표면의 일부분에서 고주파수 콘텐츠를 결정하는 것을 포함하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 9 항에 있어서,
상기 위상 평면 이미지 표면들중 적어도 하나의 표면의 일부분은 에지 부분인 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 8 항에 있어서,
상기 윈도우 함수를 발생시키는 단계는,
(a) 상기 제 1, 2 위상 평면 이미지들중 적어도 하나의 총 에너지 콘텐츠(total energy content)에 대한 고주파수 에너지 콘텐츠의 비율(ratio)의 함수인 형상을 갖는 윈도우 함수(window function)를 발생시키는 단계를 포함하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 8 항에 있어서,
상기 윈도우 함수를 발생시키는 단계는,
(a) 상기 제 1, 2 위상 평면 이미지들 모두의 총 에너지 콘텐츠에 대한 고주파수 에너지 콘텐츠의 비율의 함수인 형상을 갖는 윈도우 함수를 발생시키는 단계를 포함하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 8 항에 있어서,
상기 상관시키는 단계는 부분 노멀라이제이션을 포함하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 13 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 0부터 1까지 범위의 값을 갖는 멱지수를 이용하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
제 13 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 닫힌 형태 분석 방정식 또는 룩업 테이블에 의해 발생되는 멱지수 값을 이용하는 것을 특징으로 하는 디지털 디바이스에서의 위상 평면 상관 방법.
프로세서에 의해 실행될 때,
(a) 제 1, 2 위상 평면 이미지들을 각각 생성하기 위해 제 1, 2 시간 도메인 이미지들을 퓨리에 변환하는 단계와;
(b) 상기 제 1, 2 위상 평면 이미지들의 고주파수 콘텐츠를 추정하는 것에 응답하여, 윈도우 함수를 발생시키는 단계와;
(c) 제 1, 2 윈도우화된 표면들을 각각 제공하기 위해, 상기 제 1, 2 위상 평면 이미지들 각각과 상기 윈도우 함수를 믹싱하는 단계와;
(d) 주파수 도메인 상관된 위상 평면 표면을 형성하기 위해, 상기 제 1, 2 윈도우화된 표면을 상관시키는 단계와; 그리고
(e) 이미지 평면 상관 표면을 제공하기 위해, 상기 주파수 도메인 상관된 위상 평면 표면을 역 퓨리에 변환하는 단계를 포함하는 방법을 수행하는 프로그램 코드를 저장하고 있는 컴퓨터 판독가능한 매체를 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 16 항에 있어서,
상기 고주파수 콘텐츠를 추정하는 것은, 상기 위상 평면 이미지 표면들중 적어도 하나의 표면의 일부분에서 고주파수 콘텐츠를 결정하는 것을 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 17 항에 있어서,
상기 일부분은 에지 부분인 것을 특징으로 하는 컴퓨터 프로그램물.
제 16 항에 있어서,
상기 윈도우 함수를 발생시키는 단계는,
(a) 상기 제 1, 2 위상 평면 이미지들중 적어도 하나의 총 에너지 콘텐츠에 대한 고주파수 에너지 콘텐츠의 비율의 함수인 형상을 갖는 윈도우 함수를 발생시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 16 항에 있어서,
상기 윈도우 함수를 발생시키는 단계는,
(a) 상기 제 1, 2 위상 평면 이미지들 모두의 총 에너지 콘텐츠에 대한 고주파수 에너지 콘텐츠의 비율의 함수인 형상을 갖는 윈도우 함수를 발생시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 16 항에 있어서,
상기 상관시키는 단계는 부분 노멀라이제이션을 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 21 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 0부터 1까지 범위의 값을 갖는 멱지수를 이용하는 것을 특징으로 하는 컴퓨터 프로그램물.
제 21 항에 있어서,
상기 부분 노멀라이제이션을 포함하는 상기 상관시키는 단계는 닫힌 형태 분석 방정식 또는 룩업 테이블에 의해 발생되는 멱지수 값을 이용하는 것을 특징으로 하는 컴퓨터 프로그램물.
위상 평면 상관기(phase plane correlator)로서,
(a) 제 1, 2 위상 평면 이미지들을 각각 생성하기 위해 제 1, 2 시간 도메인 이미지들을 변환하도록 구성된 퓨리에 변환 모듈과;
(b) 상기 제 1, 2 위상 평면 이미지들의 고주파수 콘텐츠를 추정하도록 구성된 고주파수 추정기(high-frequency estimator)와;
(c) 상기 고주파수 콘텐츠에 응답하여 윈도우 함수를 발생시키도록 구성된 적응형 윈도우 함수 발생기(adaptive window function generator)와;
(d) 제 1, 2 윈도우화된 표면들을 각각 제공하기 위해, 상기 제 1, 2 위상 평면 이미지들 각각과 상기 윈도우 함수를 믹싱하도록 구성된 믹서(mixer)와;
(e) 주파수 도메인 상관된 위상 평면 표면을 형성하기 위해, 상기 제 1, 2 윈도우화된 표면들을 상관시키도록 구성된 상관기와; 그리고
(f) 이미지 평면 상관 표면을 제공하기 위해, 상기 주파수 도메인 상관된 위상 평면 표면을 변환시키도록 구성된 역 퓨리에 변환 모듈을 포함하는 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 고주파수 추정기는 상기 위상 평면 이미지 표면들중 적어도 하나의 일부분에서 고주파수 콘텐츠를 측정하도록 구성되는 것을 특징으로 하는 위상 평면 상관기.
제 25 항에 있어서,
상기 일부분은 에지 부분인 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 적응형 윈도우 함수 발생기는, 상기 제 1, 2 위상 평면 이미지들중 적어도 하나의 총 에너지 콘텐츠에 대한 고주파수 에너지 콘텐츠의 비율의 함수인 형상을 갖는 윈도우 함수를 발생시키기 위한 수단을 포함하는 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 적응형 윈도우 함수 발생기는, 상기 제 1, 2 위상 평면 이미지들 모두의 총 에너지 콘텐츠에 대한 고주파수 에너지 콘텐츠의 비율의 함수인 형상을 갖는 윈도우 함수를 발생시키기 위한 수단을 포함하는 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 위상 평면 상관기는 비디오 프레임 상관기의 일부인 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 위상 평면 상관기는 비디오 데이터 압축 시스템의 일부인 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 위상 평면 상관기는 비디오 프로세싱 시스템의 일부인 것을 특징으로 하는 위상 평면 상관기.
제 24 항에 있어서,
상기 상관기는 부분 노멀라이제이션을 포함하도록 구성되는 것을 특징으로 하는 위상 평면 상관기.
제 32 항에 있어서,
상기 상관기는 0부터 1까지 범위의 값을 갖는 멱지수를 이용하는 부분 노멀라이제이션을 포함하도록 구성되는 것을 특징으로 하는 위상 평면 상관기.
제 32 항에 있어서,
상기 상관기는 닫힌 형태 분석 방정식 또는 룩업 테이블에 의해 발생되는 멱지수 값을 이용하는 부분 노멀라이제이션을 포함하도록 구성되는 것을 특징으로 하는 위상 평면 상관기.