KR100378902B1 - 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체 - Google Patents

픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체 Download PDF

Info

Publication number
KR100378902B1
KR100378902B1 KR10-2000-0003675A KR20000003675A KR100378902B1 KR 100378902 B1 KR100378902 B1 KR 100378902B1 KR 20000003675 A KR20000003675 A KR 20000003675A KR 100378902 B1 KR100378902 B1 KR 100378902B1
Authority
KR
South Korea
Prior art keywords
block
matching
transformed
motion
blocks
Prior art date
Application number
KR10-2000-0003675A
Other languages
English (en)
Other versions
KR20000076522A (ko
Inventor
주후다니엘큐.
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20000076522A publication Critical patent/KR20000076522A/ko
Application granted granted Critical
Publication of KR100378902B1 publication Critical patent/KR100378902B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Complex Calculations (AREA)

Abstract

블록 매칭 시스템은 한 비디오 이미지 프레임내의 모션 블록과 다른 비디오 이미지 프레임내의 매칭 블록을 매치한다. 본 시스템은 다른 비디오 이미지 프레임으로부터 모션 블록들과 복수의 시험 매칭 블록들을 변환하는 복수의 하다마드 변환 처리기들을 포함한다. 그 후에 변환된 매칭 블록들은 변환된 모션 블록과 비교되고, 변환된 모션 블록과 관련하여 가장 작은 차이를 갖는 변환된 매칭 블록이 결정된다. 결정된 변환된 매칭 블록에 대응하는 매칭 블록은 모션 블록에 대한 매칭 블록으로 선택된다. 블록 매칭 시스템은 다른 수들의 행들 및 열들을 갖는 모션 블록들을 변환할 수도 있다. 한 애플리케이션에서, 시스템은 한 프레임내의 상대적으로 큰 모션 블록과 나머지 프레임들내의 대응하는 큰 매칭 블록을 매치하고, 매칭 블록과 모션 블록간의 변위를 결정한다. 이 변위는 한 프레임내의 보다 작은 모션 블록들이 나머지 프레임내의 블록들로 매치되는 경우 시험 매칭 블록들의 선택을 가이드하는데 사용된다.

Description

픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체{A method and an apparatus for processing pixel data and a computer readable medium}
발명의 배경본 발명은 이미지 블록 매칭 방법들에 관한 것이며 특히 직교 변환의 도메인에서 동작하는 2개의 이미지들 사이에 픽셀들의 블록들을 매칭하는 방법에 관한 것이다.
모션 추정은 기본적인 타입의 디지털 비디오 처리이다. 모션 추정은 많은 디지털 비디오 애플리케이션들에서 예를 들면, 비디오 코딩(video coding), 모션 보상형 비디오 표준 전환(motion compensated video standards conversion) 및 머신 비전(machine vision)에서 발견될 수 있다. 비디오 코딩의 맥락에서 모션 정보는 신호 엔트로피를 줄이는데 유용하므로 압축된 비디오 신호가 대역폭이 제한된 채널을 통해 전송될 수 있다. 비디오 표준 전환의 맥락에서 모션 정보는 변환기를 도와 모션 경로에 따라 신호를 보간함으로써, 공간적으로 및/또는 시간적으로 분실한 데이터를 복원한다. 모션 정보는 머신 비전 애플리케이션들에 유용하며, 로봇이 다양한 처리 단계들을 통해 워크피스(workpiece)를 발견하거나 또는 따라가도록 한다. 각각의 이 실예들에서, 모션 추정은 전형적으로 픽셀 도메인(pixel-domain) BM(block matching) 기술을 사용하며 매칭 기준은 현재의 프레임내의 모션 블록과 검색 프레임내의 시험 매칭 블록들간의 최소 MSE(mean square error)이다. 최소 MSE는 보다 효율적인 비용으로 하드웨어를 구현하기 위해 최소 MAD(mean absolution difference)로 대체될 수 있다.
픽셀 도메인 BM 기술들은 그 알고리즘의 간소화로 인해 그리고 기술들이 VLSI(very large scale integrated) 회로를 사용하여 구현될 수 있기 때문에 이 애플리케이션들에 매우 적합하다. 그러나, 이 현존하는 BM 기술들은 이들이 픽셀 도메인 비교에 기초하기 때문에 그리고 최선의 매치가 최소 에러 인덱스(MAD/MSE)에 기초하여 결정되기 때문에 최적 미만의 결과들을 제공할 수 있다. 일반적으로 픽셀 도메인 MSE(또는 교차 상관성(cross-correction)) 측정이 인간들에 의해 인지된 것과 같이 가시적인 이미지 에러에 완전히 일치하지 않음이 인정된다. 따라서 모션 추정에서 현재 사용되는 에러 측정은 추가의 수정을 필요로 한다. 환언하면, 매칭 처리 동안 인간의 가시적인 시스템의 특성들을 고려해야 할 필요가 있다.
발명의 개요본 발명은 인간의 가시적인 특성들을 고려하는 모션 추정 기술들로 구체화된다. 본 구성(scheme)은 픽셀 도메인 블록 매칭 기술들을 사용하여 달성될 수 있는 것보다 더 정확한 모션 벡터들을 달성하기 위해 변환 도메인 블록 매칭 기술들을 사용한다.
본 발명의 한 양태에 따라 모션 추정 방법은 모션 블록 상에 그리고 모든 시험 매칭 블록들 상에 변환 동작을 실행한다. 다음으로 방법은 변환된 모션 블록과 각 변환된 시험 매칭 블록들을 비교하고 매칭 블록으로서, 변환 도메인에서 모션 블록과 가장 작은 차이를 나타내는 시험 매칭 블록을 선택한다.
본 발명의 다른 양태에 따라, 그 변환 동작은 하다마드 변환 동작(Hadamard transform operation)이다.
본 발명의 다른 양태에 따라, 방법은 변환된 모션 블록과 각 변환된 시험 매칭 블록들 사이에서 MSE(mean square error)를 계산하고, 매칭 블록들로서, 최소 MSE를 갖는 변환된 시험 매칭 블록을 선택한다.
본 발명의 다른 양태에 따라, 방법은 변환된 모션 블록과 각 변환된 시험 매칭 블록들 사이에서 MAD(mean absolute difference)를 계산하고, 매칭 블록으로서, 최소 MAD를 갖는 변환된 시험 매칭 블록을 선택한다.
본 발명의 또 다른 양태에 따라, 방법은 변화될 모션 블록의 크기를 허용한다.
도 1(종래 기술)은 블록 매칭 기술들을 설명하는데 유용한 멀티 프레임 이미지 도면.
도 2는 본 발명에 따라 예시적인 블록 매칭 처리기를 도시한 블록도.
도 3은 본 발명에 따라 다른 예시적인 블록 매칭 처리기를 도시한 블록도.
도 4는 본 발명에 따라 또 다른 예시적인 블록 매칭 처리기를 도시한 블록도.
도 5는 도 4에 도시한 바와 같이 블록 매칭 처리기를 사용한 비디오 신호 인코딩 시스탬의 블록도.
도 6은 본 발명에 따라 블록 매칭 기술을 사용하여 모션 벡터 필드를 발생시키는 머신 비전 시스템의 블록도.
도 7은 도 6에 도시된 처리기들 중 하나의 동작을 도시하는 흐름도.
도 8a 및 8b는 본 발명에 따라 어떤 블록 매칭 기술을 설명하는데 유용한 멀티 프레임 이미지 도면들.
도 9는 본 발명에 따라 다른 블록 매칭 기술을 설명하는데 유용한 멀티 프레임 이미지 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
200 : 블록 매칭 처리기
214, 216, 218, 220, 222 : 하다마드 변환 처리기
224 : 예측 블록 결정 처리기 226 : 마이크로프로세서
410 : 멀티플렉서/블록 평균 처리기 510 : 감산기
512 : DCT 처리기 514 : 양자화 처리기
522 : 가변 길이 코더(VLC) 524 : FIFO 버퍼
526 : 버퍼 제어 처리기
상세한 설명모션 추정 기술들은 비디오 분석, 코딩 및 표준 전환에서 광범위하게 사용된다. 비디오 코딩에서, 모션 정보는 이미지 엔트로피를 감소시키는데 사용되며, 그래서 이미지를 전송하거나 저장하는데 필요한 비트들의 수를 감소시킨다. 비디오 표준 전환 애플리케이션들에서, 모션 정보는 분실한 픽셀들의 보간을 돕는데 종종 사용된다. 머신 비전에서, 모션 추정은 분석될 필요가 있는 이미지의 일부분을 한정하는데 사용될 수 있다. 모든 경우들에서, 코드화되거나 또는 전환된 이미지들의 질은 모션 추정의 정확성과 직접 연결된다. 실세계에서 카메라에 의해 포착된 관찰할 수 있는 데이터는 이미지 강도이지 이미지 모션은 아니다. 피사체들(objects)과 관찰자의 상대적인 모션에 기인한 이미지 시퀀스에서 강도 패턴들의 지각된 일시적인 변위는 이미지 분석에 있어서 중요한 양태이고 광학적 흐름으로 불린다. 광학적 흐름은 움직이는 피사체들의 공간적인 배열 및 구조에 속하는 정보를 제공한다. 그러므로, 특히 머신 비전 및 표준 전환 애플리케이션들에서, 이미지 시퀀스에서 광학적 흐름을 추정함으로써 진짜 모션을 모델링하는 것이 바람직하다.
블록에 기반을 둔 모션 추정과 보상 기술들은 비디오 코딩 및 표준 전환을 위한 가장 일반적인 접근법들에 포함된다. 어떤 예시적인 블록에 기반을 둔 모션 추정과 보상 기술은 블록에 기반을 둔 모션 추정 기술들에 관한 가르침을 위해 참조로 본 명세서에 포함된, 명칭이 DERIVATION AND USE OF MOTION VECTORS IN A DIFFERENTIAL PULSE CODE MODULATION SYSTEM 인 미국 특허 번호 제 5,198,091 호에서 설명된다. 블록에 기반을 둔 모션 추정은 H.261 및 MPEG 1-2와 같은, 디지털 비디오 압축에 관한 국제적인 표준들로 채택되었다. 그러나, 이 표준들은 특정한 모션 추정 방법을 지정하지는 않는다. 블록에 기반을 둔 모션 추정은 또한 표준 전환 및 머신 비전에 관한 모션 보상된 필터링(보간)을 포함하는, 여러 개의 다른 디지털 비디오 애플리케이션들에서 광범위하게 사용된다.
블록 모션 모델은 비디오 이미지가 움직이는 블록들로 구성되는 것으로 가정한다. 계산의 복잡성을 줄이기 위해, 간단한 2-D 평행 운동적인 모션(2-D translational motion)이 종종 가정된다. 많은 다른 블록에 기반을 둔 모션 추정 알고리즘들 중에서, 블록 매칭은 보다 작은 하드웨어 복잡성으로 인해 실제의 모션 추정 실현에 가장 대중적인 방법으로 간주될 수 있다. 그 결과, 그것은 VLSI에서 광범위하게 사용되고, 거의 모든 H.261과 MPEG 1-2 코덱들은 모션 추정용으로 블록 매칭을 사용한다. 이 블록 매칭 기술들 중 많은 기술들은 소정의 모션 블록에 대해 최상의 모션 벡터 추정을 식별하기 위해 픽셀 도메인 검색 절차를 사용한다.
기본 블록 매칭 알고리즘은 도 1에 도시되는데, 현재의 프레임(기준 프레임)(100)내의 픽셀 x(u1, v1)에 대한 변위는 (u1, v1)를 중심으로 하여 배치된 N1×N2모션 블록(102)을 고려함으로써 그리고 동일한 크기의, 최상의 매칭 블록(110)의 위치에 대해 다음/이전 프레임(검색 프레임)(104)을 검색함으로써 결정된다. 최상의 매칭 블록이 발견되면, 모션 벡터는 모션 블록이 현재의 이미지내에서 차지하는 것과 검색 이미지내에서 동일한 위치를 차지하는 블록(108)에 대하여 결정된다. 검색은 통상적으로 계산상의 이유로 N1+ 2M1×N2+ 2M2영역(검색 윈도우)(106)으로 한정된다. 블록 매칭 알고리즘들은 다음의 양태들: 매칭 기준들(예를 들어, 최소 교차 상관성, 최소 MSE, 최소 MAD), 검색 전략(예를 들어, 3단계 빠른 검색), 또는 블록 크기의 결정(예를 들어, 계층적인)에서 다를 수도 있다.
초점은 복수의 시험 매칭 블록들 사이에서 최상의 매칭 블록을 발견하는데 사용되는 매칭 기준이다.
통상, 매칭 기준들은 최대 교차 상관성과 최소 MSE와 같은 픽셀 도메인 에러 인덱스 측정들을 기초로 한다. 블록 매칭에서 계산상의 요구들을 줄이기 위해, 최소 MAD(mean absolute difference) 또는 최대 MPC(matching pixel count)는 성능을 절충하여, MSE 또는 MAD를 대체할 수도 있다. 최소 MSE 기준에서, MSE는 식(1)에 의해 규정된다.
여기서 R은 후보 모션 벡터들(d1, d2)의 집합에 대한, N1×N2블록을 나타낸다. 모션 벡터의 추정은 식(2)에 도시된 바와 같이, MSE를 최소화하는 (d1, d2)의 값으로 취해진다.
하드웨어에서 스퀘어 동작(square operation)을 능률적으로 실현하는 것이 어렵기 때문에, 식(3)에서 규정된, 최소 MAD 기준은 MSE 기준을 대신하여 사용될 수도 있다.
다음으로 변위 추정은 식(4)에 의해 제공된다.
2개의 프레임들간의 차이가 인터-프레임 모션을 나타내는 경우, 그 변위는 현재의 프레임과 검색 프레임간에, 예를 들면, x와 y의 좌표축들을 따라서 모션 블록의 소정 픽셀의 변위를 나타내는 오더된 쌍(ordered pair)의 값들로서 모션 벡터로 직접 변환될 수 있다.
실제의 비디오 애플리케이션들에서, 모션 추정 구성들의 정확성은 궁극적으로 어떤 매칭 기준이 채용되는 냐와는 무관하게 관찰자들에 의해 판단된다. 일반적으로 픽셀 도메인 에러 측정(예를 들어, MSE, MAD)이 인간의 눈에 의해 지각되는 가시적인 이미지 에러와 완전히 일치하지는 않는 것이 인정되고 있다. 따라서 모션 추정에서 현재 사용되는 에러 측정들은 인간의 가시적인 시스템의 특성들을 수용하기 위해 추가의 수정을 필요로 한다. 본 발명은 픽셀 도메인이 아니라 변환(시퀀스/주파수) 도메인에서 블록 매칭을 수행함으로써 이 특성들을 고려한다. 시퀀스/주파수 도메인 변환의 사용은 지각된 이미지 블록 에러들이 더 높은 공간상의 주파수 성분들보다는 오히려 더 낮은 공간상의 주파수 성분들내에서 발생하는 경우 더욱 두드러지므로 보다 효과적인 블록 매칭을 제공할 수 있다. 전형적인 픽셀에 기반을 둔 블록 매칭 기술은, 픽셀 도메인에서만 동작하기 때문에, 매치동안 모든 픽셀들을 동일하게 처리한다.
본 발명의 방법은 직교 도메인으로 모션 블록과 시험 매칭 블록들을 먼저 변환하고 다음으로 예를 들어, MSE/MAD 매칭 기준을 사용하여 계수 대 계수 비교를 행한다. 통상적인 픽셀 도메인 블록 매칭에 비해 변환 도메인 블록 매칭의 사용의 몇 가지의 이점들이 있다.
(1)낮은 오더의 변환 성분들은 인간의 지각력과 일치하는 매칭 결과에 더 영향을 미칠 것이다;
(2)변환 도메인에서 유효 잡음 파워는 감소된다;
(3)모션 추정 에러는 이미지가 평행 운동적인 모션(transnational motion)만을 나타낸다는 가정이 위배되는 경우 픽셀 도메인 블록 매칭 기술의 에러보다는 작다;
시퀀스/주파수 도메인으로 이미지 블록을 변환할 수 있는 다수의 변환들이 있다. 퓨리에 변환(FT), 이산 코사인 변환(DCT) 및 하다마드 변환(HT)이 대표적인 3가지 방법들이다. FT와 DCT 연산들이 각각, 허수 및 실수 변환들이므로, FT와 DCT는 하드웨어 실행에서 상대적으로 높은 비용으로 인해 고려되지 않는다. HT는 고속 변환 알고리즘의 존재와 순수한 +1 및 -1 변환 커널(Kernel)로 인한 이 태스크에 더 적합하다. 그러므로 FT 또는 DCT 처리보다 HT 처리를 실현하는 것이 하드웨어 로직을 덜 이용한다. 본 발명이 하다마드 변환들에 관해 기술된다 하더라도, 신호 에너지가 상대적으로 작은 수의 성분들로 압축되는 임의의 주파수/시퀀스 도메인 변환 또는 다른 직교 변환으로 행해질 수도 있음이 예측된다. 부가적으로, 본 발명이 최상의 매칭 블록을 식별하기 위해 변환된 블록들의 최소 MAD를 사용하는 것으로서 기술된다 하더라도, 최대 교차 상관성, 최소 MSE 또는 최대 MPC(matching pixel count)와 같은, 다른 매칭 측정들이 사용될 수도 있음이 예측된다.
하다마드 매트릭스, H=(hij)는 n×n 차원인 정방형 매트릭스로 규정된다.
ⅰ. 모든 엔트리들은 ±1이다.;
ⅱ. 임의의 2개의 별개의 열들은 직교한다. 즉,
ⅲ. 하다마드 매트릭스의 오더는 1, 2, 4, 8, 16,…, 4m이며, 여기서 m=1,2,…이다.
일반성의 상실 없이, 변환용 하다마드 매트릭스의 일반적으로 사용되는 서브셋, 즉, 랭크(rank) 2n의 실버스터 하다마드 매트릭스(Sylvester-Hadamard matrix)를 고려한다. 그것의 순환적인 형태는 식(5)에 규정된다.
여기서는 노네커 곱(Knonecker product)을 표시한다.
따라서,
및
2-D 스퀘어 하다마드 변환은 식(6)에 규정된다.
여기서 Hm과 Hn은 각각 N1×N1(2m×2m)과 N2×N2(2n×2n) 하다마드 매트릭스들이다. 매트릭스 fN1N2는 N1×N2의 차원을 갖는 이미지 데이터 매트릭스이다. 주의 : 상술한, 하다마드 매트릭스들의 제 3 특성에 따르는 오더를 갖는 이미지 데이터 매트릭스를 하다마드 변환하는 것이 또한 가능하다.
통상적인 픽셀 도메인 BM과 같이, 하다마드 변환 도메인 BM은 (u1, v1)을 중심으로 N1×N2모션 블록을 고려함으로써 그리고 같은 크기의 최상의 매칭 블록의 위치에 대해 다음(또는 이전) 프레임(검색 프레임)을 검색함으로써 현재의 프레임(기준 프레임)에서 픽셀 f(u1, v1)에 대한 변위를 결정한다. 검색은 또한 N1+ 2M1×N2+ 2M2영역에 한정된다. 차이는 식들(7) 및 (8)에 규정된 바와 같이, 기준 및 검색 프레임들 둘 다에서 블록들이 개개의 하다마드 변환들을 겪는 것이다.
여기서 R은 크기 N1×N2인 픽셀들의 블록을 나타낸다.
MAD 기준은 식(9)에 따라 변환 도메인 블록 차이를 계산하는데 사용될 수 있다.
그 후에 변위 추정은 식(10)에 의해 계산될 수 있다.
BM에 대한 매칭 기준들이 변화되더라도, 제안된 변환 도메인 BM(TBM)은 BM 알고리즘 패밀리의 다른 변종들로 사용될 수 있다. 예를 들어, TBM은 매칭 블록이 10진화된, 현재 및 검색 이미지들의 저 해상도 버전을 사용하여 처음에 검색함으로써 그리고 연속적으로 더 높은 해상도 이미지들에 대한 검색을 정련하기 위해 이 이미지들에 대해 결정된 매치를 사용함으로써 식별되는 계층적인 모션 추정 알고리즘들에서 사용될 수 있다.
대안적으로, 이미지를 필터링하고 데시메이팅하는 것보다는 오히려, 보다 큰 블록 크기와 대응하는 고 오더의 하다마드 매트릭스가 조잡한 모션 벡터를 찾는데 사용될 수 있고 그 다음에 블록 크기와 매트릭스 크기는 조잡한 모션 벡터를 하나 또는 그 이상의 미세한 모션 벡터들로 변화하기 위해 연속적으로 감소될 수도 있다.
기술은 또한 고속 검색 모션 추정 알고리즘들 상의 기술을 참조하여 구체화된, 논문 명칭이 "A Fast Three-Step Search Algorithm With Minimum Checking Points Using Unimodal Error Surface Assumption"IEEE Trans. on Consumer Electronics, Aug.1998, pp 638-648 인, J.N.Kim 및 T.S.Choi 에 의해 개시된 3단계 검색 방법과 같은 고속 검색 모션 추정 알고리즘들에 사용될 수도 있다. 이 고속 검색 기술들을 사용하여, 현재의 프레임에서 모션 블록과 검색 프레임에서 각 시험 매칭 블록은 각 단계의 기술이 수행되기 전에 변환될 수 있다. 부가로, TBM 기술이 이미지의 공간상의 주파수 만족도에 더 민감하기 때문에, 회전 또는 줌과 같이 비이동 모션을 나타내는 이미지 시퀀스들에 적용할 수 있다.
도 2는 본 발명에 따라 변환 블록 매칭 알고리즘을 실행하는데 사용하기 적합한 회로의 블록도이다. 도 2에 도시된 회로는 현재의 프레임(210)으로부터의 모션 블록들을 다음 프레임(212)으로부터의 매칭 블록들로 매핑한다. 블록 매칭 처리기(200)는 마이크로프로세서(226)의 제어하에서 현재의 프레임(210)으로부터 모션 블록을 선택하는 하다마드 변환 처리기(214)를 포함한다.
블록 매칭 처리기(200)는 또한 마이크로프로세서(226)의 제어하에서, 다음 프레임 메모리(212)로부터 시험 매칭 블록들을 선택하는, 복수의 하다마드 변환 처리기들(216, 218, 220 및 222)을 포함한다. 마이크로프로세서(226)는 전체 검색 알고리즘, 또는 고속 검색 알고리즘에 따라 현재의 프레임(210)과 다음의 프레임(212)으로부터 블록들을 선택하기 위해 하다마드 변환 처리기들(214 내지 222)을 제어할 수도 있다. 블록 매칭 처리기(200)가 계층적인 블록 매칭 기술을 사용하는 시스템에서 사용되는 경우, 현재의 프레임과 다음 프레임으로부터 인출된 픽셀들의 블록들의 크기는 X와 Y 방향들 중 하나 또는 둘 다에서 변화될 수도 있고 대응하는 하다마드 변환은 식들 (7) 및 (8)을 참조하여 상술한 바와 같이 픽셀들의 인출된 블록들에 적용될 수 있다.
변환 처리기들(214 내지 222)에 의해 제공된 픽셀 데이터의 변환된 블록들은 예측 블록 결정 처리기(224)에 적용된다. 그 처리기(224)는, 예를 들어, 변환된 모션 블록에 대해 최소 MAD를 갖는 변환된 검색 블록을 선택하기 위해 픽셀 값들의 각종 변환된 블록들에 식들 (9) 및 (10)을 참조하여 상술한 바와 같이, 최소 MAD 기준들을 적용할 수도 있다.
예측 블록 결정 처리기(224)는 또한 마이크로프로세서(226)로부터 블록 식별 신호들을 수신하도록 연결된다. 식(10)의 기준을 만족시키는 검색 블록을 식별시, 모션 블록과 이 검색 블록 사이의 변위는 예측 블록 결정 처리기(224)에 의해 계산될 수 있다. 이 변위는 예측 블록 결정 처리기(224)에 의해 제공된 출력 신호인 모션 벡터로 표시된다.
도 3은 대안적인 블록 매칭 처리기(200')의 블록도이다. 이 처리기는 이전 프레임(310)과 다음 프레임(212) 둘 다에 매칭 블록들을 검색함으로써 도 2에 도시된 블록 매칭 처리기(200)를 확장한다. 도 3에 도시된 바와 같이, 예시적인 블록 매칭 처리기(200')는 예측 블록 결정 처리기(224')에 시험 매칭 블록들을 적용하기 전에 이전 프레임(310)으로부터 시험 매칭 블록들을 인출 및 변환하기 위해 마이크로프로세서(226')에 의해 제어되는 하다마드 변환 처리기들(312, 314, 316 및 318)을 포함한다. 도 3에 도시된 회로의 나머지는 도 2에 도시된 것과 동일하므로 기술되지 않는다. 블록 결정 처리기(224')는 현재의 프레임(210)으로부터 변환된 모션 블록과 이전 프레임(310) 또는 다음 프레임(212)으로부터 제공된 변환된 블록들의 임의의 것 사이의 최소 절대 차이를 계산한다.
도 3에 도시된 발명의 예시적인 실시예는 병렬로 다음 프레임과 이전 프레임에서 시험 매칭 블록들을 처리한다. 도 4는 다음 프레임과 이전 프레임에서 시험 매칭 블록들이 3개의 연속적인 단계들로 처리되는 본 발명의 대안적인 실시예를 도시한다. 도 4에 도시된 시스템은 다음 프레임(212)과 이전 프레임(310)에서 시험 매칭 블록들을 수신하도록 연결된 멀티플렉서/블록 평균 처리기(410)를 포함한다. 처리기(410)는 또한 마이크로프로세서(226")에서 제어 신호를 수신하도록 연결된다. 블록 매칭 처리기(200")는 다음과 같이 동작한다. 제 1 인터벌에서, 현재의 프레임(210)으로부터 모션 블록이 하다마드 변환 처리기(214)에 적용되고 그 후에 예측 블록 결정 처리기(224")에 적용된다. 또한 이 인터벌에서, 이전 프레임에서 시험 매칭 블록들은 예측 블록 결정 처리기(224")에 적용되는 변환된 시험 매칭 블록들을 생성하기 위해 멀티플렉서/블록 평균 처리기(410)를 통하여, 각각의 하다마드 변환 처리기들(216, 218, 220 및 222)에 적용된다.
이 제 1 인터벌 동안, 예측 블록 결정 처리기(224")는 변환된 모션 블록에 관해 최소 MAD를 갖는 이전 프레임에서 변환된 매칭 블록을 선택한다.
제 2 시간 인터벌 동안, 변환된 모션 블록이 예측 블록 결정 처리기(224")에 여전히 적용되는 동안, 마이크로프로세서(226")는 다음 프레임(212)으로부터 시험 매칭 블록들을 제공하기 위해 멀티플렉서/블록 평균 처리기(410)를 스위치한다. 이 제 2 시간 인터벌 동안, 다음 프레임으로부터 매칭 블록들은 예측 블록 결정 처리기(224")로의 적용을 위해 변환된 매칭 블록들을 생성하도록 하다마드 변환 처리기들(216, 218, 220 및 222)에 의해 변환된다. 이 제 2 시간 인터벌에서, 예측 블록 결정 처리기(224")는 각 변환된 매칭 블록들과 변환된 모션 블록들 사이의 MAD에 기초하여, 다음 프레임으로부터 매칭 블록들 중 하나를 선택한다.
제 3 시간 인터벌에서, 예측 블록 결정 처리기들(224")은 다음 프레임(212)과 이전 프레임(310)으로부터 선택된 매칭 블록들을 마이크로프로세서(226")에 통지한다. 그 후에 멀티플렉서/블록 평균 처리기(410)는 다음 프레임과 이전 프레임으로부터 선택된 블록들의 평균을 구하고 하다마드 변환 처리기들, 예를 들어, 처리기(216), 중 하나에 이 평균된 블록을 제공한다. 이 변환된 블록은 예측 블록 결정 처리기(224")에 적용되고, 이 결정 처리기(224")는 제 3 시간 인터벌 동안, 하다마드 변환 처리기(214)에 의해 제공되는 것과 같은 변환된 모션 블록과 변환 처리기(216)에 의해 제공되는 것과 같은 변환된 평균 블록 사이의 MAD를 계산한다.
그 후에 예측 블록 결정 처리기(224")는 변환된 평균 블록에 대한 MAD를 다음 프레임(212)과 이전 프레임(310)으로부터의 변환된 선택 블록들에 대한 MAD와 비교한다. 최소 MAD를 갖는 블록은 블록 매칭 처리기(200")에 적용되는 모션 벡터를 결정한다. 변환된 평균 블록의 MAD를 다음 및 이전 프레임들로부터의 매칭 블록들의 MAD와 비교함에 있어서, 예측 블록 결정 처리기(224")는 다음과 이전 프레임들로부터 MAD 값들을 저장할 수 있거나 또는 예측 블록 결정 처리기가 변환된 평균 블록을 수신하는 것과 동시에 다음과 이전 프레임들로부터 변환된 매칭 블록들을 수신할 수 있다. 이 실예에서, 변환된 매칭 블록들은 하다마드 변환 처리기들(216, 218, 220 및 222) 중 각각들로, 예를 들어, 처리기들(218 및 220)로, 멀티플렉서/블록 평균 회로(410)에 의해 라우트될 수도 있다.
도 4에 도시된 회로는 예를 들어, MPEG-2 인코더와 같은 순방향 예측 및 양방향 예측 모션 보상된 인코딩 기술들 둘 다를 사용하는, 트랜스코딩 처리기에 사용될 수도 있다.
도면 2, 3 및 4에 도시된 전형적인 블록 매칭 처리기들은 현재의 프레임으로부터의 모션 블록과 비교를 위해 다음 프레임 및/또는 이전 프레임으로부터 4개의 시험 매칭 블록들을 제공하는 것으로 도시된다. 이 도면들은 단지 예시적이다. 예를 들어, 전체 검색 모션 추정 기술을 사용하는, 256개만큼의 시험 매칭 블록들이 각각의 이전 프레임과 다음 프레임으로부터 제공될 수도 있음이 예측된다. 고속 검색 처리에 대하여, 상기 참조 논문에서 기술된 바와 같이, 각각의 다음 프레임과 이전 프레임은 3 단계 과정 중 각 단계동안 8개의 모션 블록들을 제공할 수 있다.
도 5는 본 발명의 실시예를 포함하는데 적응되고, 예를 들어, MPEG-2 표준에 따라 인코드된 비디오 신호들을 생성할 수 있는, 통상적인 모션 적응형 비디오 인코더 회로의 블록도이다. 도 5에 도시된 시스템에서, 입력 비디오 신호는 모션 보상 처리기(200")에 연결된 프레임 메모리(212')에 적용된다. 모션 보상 처리기는 다음 프레임으로부터 시험 매칭 블록들을 획득하기 위해 프레임 메모리에 접근한다. 본 발명의 예시적인 실시예에서 프레임 메모리(212')는 또한 프레임 지연(210')에 연결된다. 프레임 메모리(212')가 비디오 정보의 한 프레임을 홀드하는 동안, 바로 이전 프레임이 프레임 지연(210')을 통해 디코딩 회로에 제공된다. 프레임 지연(210')에 의해 제공된 출력 신호는 도 4를 참조하여 상술된 바와 같이 모션 블록들을 제공하기 위해 모션 보상 처리기(200")에 연결되는 현재의 비디오 프레임이다. 모션 보상 처리기(200")는 또한 이전 이미지 프레임으로부터 시험 매칭 블록들을 수신하기 위해 프레임 지연(310')에 연결된다.
일반적으로, 도 5에 도시된 인코더는 모션 보상 처리기(200")에 의해 제공된 모션 보상된 비디오 데이터로부터, 프레임 지연(210')에 의해 제공된, 현재의 비디오 정보를 뺌으로써 획득된 상이한 픽셀 값들을 인코딩함으로써 동작한다.
본 발명의 예시적인 실시예에서, 프로세서(210")에 의해 제공된 모션 보상된 비디오 데이터는 감산기(510)에 의해 현재의 비디오 데이터로부터 감산된다. 그 결과 차이 신호들은 DCT 처리기(512)에서 이산 코사인 변환(DCT)이 적용된다. 처리기(512)에 의해 제공된 변환된 차이 신호들은 양자화 회로(514)에 적용된다. 하기에 기술된 바와 같이, DCT 인코드된 차이 신호의 양자화 해상도는 버퍼 제어 처리기(526)에 응답하여 제어된다. 양자화 처리기(514)의 출력 신호들은 모션 보상 처리기(200")에 의해 제공된 모션 벡터들을 또한 수신하는 가변 길이 코더(522)에 적용된다. 가변 길이 코더(522)는 엔트로피 코딩을 양자화된 변환된 차이 코드 값들에 적용하고 인코드된 출력 비디오 스트림을 생성하기 위해 모션 벡터들에 적용한다. 인코드된 비디오 스트림은 출력 포트에서 비트율이 감소된 인코드된 비디오 신호를 전송 채널에 제공하는 선입 선출(FIFO) 버퍼(524)에 적용된다.
비디오 이미지에서 모션의 양과 세부 사항에 따라, FIFO 버퍼(524)에 제공된 비디오 데이터는 전송 채널에 의해 지원되는 것보다 높은 속도일 수도 있다. 전송 채널 리미트가 가까워지면, FIFO 버퍼(524)는 인코드된 비디오 신호를 나타내는데 사용되는 데이터의 용량을 감소시키기 위해 양자화기(514)에 적용된 양자화 해상도가 감소하도록 버퍼 제어 회로(526)에 신호를 보낸다. 버퍼 제어 회로(526) 때문에, 도 5에 도시된 인코딩 처리기는 상이한 레벨의 세부 사항 및 모션을 갖는 이미지 시퀀스들을 균일한 비트율 비디오 신호로 신뢰할 수 있게 인코드할 수 있다.
프레임 지연 회로(310')에 의해 제공된 비디오 데이터의 이전 프레임은 인코드된 비디오 신호로부터 재생성된다. 본 발명의 예시적인 실시예에서, 역 양자화 회로(516)는 양자화기(514)에 의해 수행되는 양자화 동작을 반전하고, 역 이산 코사인 변환 처리기(518)에 역양자화된, 변화된 차동 코드화된 비디오 신호를 적용한다. 처리기(518)는 가산 회로(520)에 디코드된 차동 비디오 신호를 제공하기 위해 처리기(512)에 의해 수행된 DCT 동작을 반전시킨다. 가산 회로(520)는 디코드된 차동 비디오 데이터에 모션 보상 비디오 데이터를 가산함으로써 현재의 프레임으로부터 데이터를 재구성한다. 재구성된 데이터는 모션 보상 처리기(200")에 이전 프레임 비디오 데이터를 제공하기 위해 한 프레임 간격만큼 현재의 프레임 데이터를 지연시키는 프레임 지연 회로(310')에 적용된다.
도 6은 본 발명의 예시적인 실시예에 따라 모션 벡터 필드들을 생성하는데 사용될 수 있는 보다 고도의 병렬 처리 시스템의 블록도이다. 이 처리기 시스템은 NH × NV 처리기들(P0,0내지 PNv-1, Nh-1)을 포함한다. 이와 같이, 처리기 시스템은 이미지의 각 블록마다 1개의 처리기를 가지며 여기서 이미지가 NV 수직 블록들×NH 수평 블록들, 즉, NH × NV 블록들을 포함한다.
도 6에 도시된 바와 같이, 이전 필드, Fk-1과 다음 필드, Fk+1, 현재의 필드, Fk에 대응하는 입력 샘플들은 입/출력(I/O) 처리기(612)에 적용된다. 이 처리기는 제어 처리기(610)의 제어하에서 멀티포트 메모리(614)로 샘플들을 저장한다. 예를 들어, 메모리(614)는 각각의 복수의 처리기들(P0,0내지 PNv-1,Nh-1)과 각각 상이한 공통 상주 부분을 갖는 분산된 메모리일 수도 있다. 제어기(610)와 복수의 처리기들(P0,0내지 PNv-1,Nh-1)은 2 또는 3의 이미지 필드들을 나타내는 샘플들로부터 현재의 이미지에 대한 모션 벡터 필드를 나타내는 샘플들을 생성하기 위해 도면 2, 3 및 4를 참조하여 상술한 방법에 따라 동작한다.
I/O 처리기(612)가 3개의 프레임들의 데이터를 수신하는 것처럼 도시된다 하더라도, 정상 상태 동작에서, 하나의 새로운 프레임의 데이터만이 임의의 소정 시간에서 처리기(612)에 적용될 수 있음이 고려되어진다. 2개의 이전에 저장된 프레임들은 프레임 Fk에 대응하는 저장된 데이터가 프레임 Fk+1을 나타내는 데이터가 되고 프레임 Fk-1에 대응하는 저장된 데이터가 프레임 Fk를 나타내는 데이터가 되도록 간단히 다시 나타낼 수 있다. 본 발명의 예시적인 실시예에서, 각 처리기, 예를 들어 P0,0은, 메모리(614)의 한 포트를 통하여 프레임 Fk로부터 픽셀 데이터의 각각 다른 모션 블록을 획득한다. 처리기는 또한 메모리 포트를 통하여 프레임 Fk-1과 프레임 Fk+1로부터 시험 매칭 블록들을 획득한다.
각 처리기(P0,0내지 PNv-1, Nh-1)는 도 7에 도시된 흐름도에 따라 동작한다. 흐름도에서 제 1 단계인, 단계(710)는 프레임 Fk로부터 모션 블록을 인출하고 하다마드 변환을 적용한다. 단계(712)는 프레임 Fk-1로부터 그리고 선택적으로 프레임 Fk+1로부터 시험 매칭 블록들을 인출한다. 부가적으로, 단계(712)는 큰 값으로 변수 MINMAD를 초기화한다. 다음에, 단계(714)는 시험 매칭 블록들 중 하나를 선택하고 선택된 블록에 하다마드 변환을 적용한다. 이 동작은 식(8)을 참조하여 상기에서 설명된다. 단계(714)는 또한 선택된 변환된 매칭 블록과 변환된 모션 블록간의 MAD(mean absolute difference)를 계산한다. MAD의 계산은 식(9)를 참조하여 상기에서 설명된다. 단계(716)에서, 단계(714)에서 계산된 MAD의 값은 MINMAD와 비교된다. 만약 MAD가 MINMAD보다 작다면 변수 MINMAD에 MAD의 값을 할당하고 변수 MINMATCH로 단계(714)에서 처리된 블록의 블록 식별자(BLOCK ID)를 기록하는 단계(718)가 실행된다. 만약 단계(716) 또는 다음 단계(718)에서 MAD가 MINMAD보다 작지 않다면 단계(720)가 실행된다. 단계(720)에서, 처리기는 더 이상의 매칭 블록들이 처리될 필요가 있는지를 결정한다. 만약 그렇다면, 제어는 다음 매칭 블록을 선택하기 위해 단계(714)로 되돌아간다. 다른 매칭 블록들이 처리되지 않는다면, 식(10)을 참조하여 상기에서 설명된 바와 같이 블록 MINMATCH에 대해 모션 벡터를 계산하는 단계(722)가 실행된다.
도 7에서 도시된 흐름도는 본 발명의 소프트웨어 실행을 도시한다. 이 소프트웨어 실행은 디스켓, CD-ROM와 같은 컴퓨터 판독 가능한 매체를 통해서 전달되는 컴퓨터 프로그램의 형태일 수 있다.
도 6에 도시된 처리기 시스템에 의해 제공된 결과는 프레임 Fk에 각 모션 블록마다 모션 벡터를 포함하는 모션 벡터 필드이다. 식들 (7) 및 (8)을 참조하여 상기에서 설명된 바와 같이, 하다마드 매트릭스 및 기준 블록과 검색 블록들은 각각의 수평 및 수직 방향들에서 상이한 수의 픽셀들을 포함할 수 있다. 그러므로, 도 6에 도시된 처리기는 16×16 블록뿐만 아니라 4×4 블록 상에서 동작할 수 있다. 하다마드 변환 동작이, 식(6)에 의해 설명된 바와 같이, 다른 오더의 2개의 하다마드 매트릭스들을 사용하기 때문에, 도 6에 도시된 처리기는 16×4 블록 또는 8×16 블록 상에서도 또한 동작할 수 있다.
도들 8a 및 8b는 계층적인 모션 블록 검색 알고리즘에 대한 본 발명의 애플리케이션을 도시한다. 도 8a에서, 픽셀 값들의 16개의 8×8 블록들을 포함하는 모션 블록(140)은 32×32 하다마드 매트릭스를 사용하여 변환되고 이전 프레임(104)에서 매칭 블록들(150 및 152)은 또한 32×32 하다마드 변환에 적용된다. MAD는 각 변환된 블록들(150 및 152)마다 계산된다. 블록(140)이 현재의 프레임(100)내에 있는 것과 같이 블록(150)이 이전 프레임(104)에서의 같은 위치를 갖기 때문에, 블록(150)과 블록(152)간의 변위는 블록(140)에 대한 모션 벡터를 규정한다. 대안적으로, 모션 벡터는 픽셀 값들의 32×32 블록을 저역 필터링함으로써 그리고 예를 들어, 픽셀 값들의 8×8 블록을 생성하기 위해 필터링된 픽셀 값들을 데시메이팅(decimating)함으로써 픽셀 값들의 32×32 블록을 계산할 수도 있다. 픽셀 값들의 32×32 블록의 저역 필터링은 필터된 블록이 픽셀 값들의 8×8 블록을 생성하기 위해 서브샘플될 때 에일리어싱 왜곡을 줄이도록 동작한다. 픽셀 값들의 8×8 블록은 그 후에 하다마드 변환에 적용되며 최상의 매치를 찾기 위해 유사하게 필터링되고, 데시메이팅되고 변환된 시험 매칭 블록들과 비교된다. 저역 필터들과 데시메이터들은 도면에 도시되지 않는다.
도 8a에 도시된 바와 같이 계산된 모션 벡터는 MPEG-2 표준하에서 4개의 매크로블록들을 커버한다. 도 8a에 기재된 방법에 의해 식별된 모션 벡터(160)를 사용하여, 단일 매크로블록에 대한 모션 벡터는 도 8b에 도시된 바와 같이 생성될 수도 있다. 도 8b에서, 단일 매크로블록(170)이 모션 블록으로서 사용될 때, 모션 벡터(160)는 이전 프레임(104)에서 매칭 블록의 위치를 정하는데 사용되는 검색 영역(106')을 제한하는데 사용될 수 있다. 도 8b에 도시된 바와 같이, 블록들(172, 174, 176 및 178)은 시험 매칭 블록들로서 식별될 수 있다.
알고리즘에 따라, 16×16 하다마드 변환은 모션 블록(170)과 각 시험 매칭 블록들(172, 174, 176 및 178)에 적용된다. 변환된 블록들은 모션 블록(170)의 매칭 블록으로서 검색 영역(106')에서 한 블록을 선택하기 위해 식들 (9) 및 (10)을 참조하여 상기에서 설명된 바와 같이 최소 MAD 알고리즘을 사용하여 그 후에 비교된다. 상술한 바와 같이, 픽셀 값들의 16×16 블록과 16×16 하다마드 변환을 사용하는 대신에, 알고리즘은 8×8 블록을 생성하고 8×8 하다마드 변환을 모션 블록에 적용하고 각각의 유사한 필터링되고 서브샘플된 시험 매칭 블록들의 집합에 적용하기 위해 16×16 블록을 필터링 및 데시메이팅할 수 있다.
도면들 8a 및 8b를 참조하여 설명된 알고리즘은 2개의 상이한 오더들의 하다마드 변환들을 사용한다. 도 8a에서, 오더 32 하다마드 변환이 수행된다. 반면에 도 8b에서 오더 16 하다마드 변환이 수행된다. 도면들 2 내지 5를 참조하여 상기에서 설명된 바와 같이, 하다마드 변환을 수행하는데 사용된 처리 회로는 그 처리에서 다른 시간들에 하다마드 변환들의 상이한 오더들을 사용할 수 있다. 이미지들의 단일 시퀀스가 다수의 오더들의 변환들을 사용할 수 있음이 더 고려된다. 높은 오더의 변환은 이미지에서 이미지까지 두드러지게 변하지 않는 이미지들을 시퀀스들의 큰 영역들에 사용할 수 있는 반면에 낮은 오더의 하다마드 변환은 더 자주 변하는 이미지의 부분들에 사용될 수 있다. 예를 들어, 뉴스 방송에서, 배경은 상대적으로 큰 오더의 하다마드 변환들을 사용하여 인코드될 수 있고 반면에 뉴스캐스터들의 얼굴은 상대적으로 낮은 오더의 하다마드 변환들을 사용하여 인코드될 수 있다.
도 8a 및 8b를 참조하여 상기에서 설명된 모션 추정 기술들에서, 계층적인 모션 추정은 큰 블록들에서 작은 블록들까지이다. 그러나, 계층적인 기술이 또한 작은 블록들에서 큰 블록들까지 전진할 수 있음이 고려된다. 도 9는 작은 블록들의 모션이 큰 블록에 대한 모션 벡터를 추론하는데 사용되는 예시적인 모션 추정 방법을 도시하는 이미지도이다. 도 9에서, 현재의 프레임(100)의 모션 블록(118)은 4개의 서브블록들(120, 122, 124 및 126)을 포함한다. 본 발명의 예시적인 실시예에서, 분리된 모션 벡터들은 각각의 서브블록들에 대해 결정된다. 이는 검색 프레임(104)으로 도 9에 도시되며, 블록(118')은 같은 위치내에서 블록을 나타내며 모션 블록(118)으로서 검색 이미지는 현재의 이미지내에 있다. 모션 벡터들이 결정되면, 모션 블록들의 서브블록들(120, 122 및 126)은 서브블록(124)이 검색 블록(132)의 서브블록(124')으로 매핑되는 동안 검색 이미지에서 블록(130)의 서브블록들(120', 122' 및 123')로 매핑된다. 도 1을 참조하여 상기에서 설명된 통상적인 블록 모션 알고리즘들과 같이, 검색 영역은 검색 이미지(104)의 영역(106)에 한정된다. 모션 블록의 3개의 서브블록들이 매칭 블록(130)으로 매핑되고 서브블록들 중 하나만이 블록(132)으로 매핑되기 때문에 블록(130)은 모션 블록(118)에 관한 매칭 블록으로 선택된다.
도 9에 도시된 블록 매칭 방법에서, 각 서브블록들(120, 122, 124 및 126)은 검색 프레임(104)의 검색 영역(106)에서 모든 서브블록들과 같이 하다마드 변환에 적용된다. 그 후에 상술된 블록 매칭 알고리즘은 검색 이미지(104)의 검색 영역(106)에서 서브블록에 기초하여 적용된다.
본 발명이 전형적인 실시예들에 관해 설명되는 동안, 그것이 첨부된 청구항들의 범위내에서 아웃라인된 바와 같이 행해질 수도 있음이 고려된다.
본 발명은 인간의 가시적인 특성을 고려하는 모션 추정 기술들을 구체화한 것이다. 본 구성(scheme)은 픽셀 도메인 블록 매칭 기술들을 사용하여 달성될 수 있는 것보다 더 정확한 모션 벡터들을 달성하기 위해 변환 도메인 블록 매칭 기술들을 사용한다. 변환 도메인 블록 매칭은 (1)낮은 오더의 변환 성분들은 인간의 지각력과 일치하는 매칭 결과에 더 영향을 미칠 것이다; (2)변환 도메인에서 유효 잡음 파워는 감소된다; (3)모션 추정 에러는 이미지가 평행 운동적인 모션(transnational motion)만을 나타낸다는 가정이 위배되는 경우 픽셀 도메인 블록 매칭 기술의 에러보다는 작다;는 이점이 있다.

Claims (13)

  1. 제 1 이미지내의 픽셀 값들의 모션 블록(motion block)에 대응하는 제 2 이미지내의 픽셀 값들의 매칭 블록(matching block)을 식별하기 위해 제 1 및 제 2 이미지들을 나타내는 픽셀 데이터를 처리하기 위한 방법에 있어서, 상기 방법은,
    변환된 모션 블록(a transformed motion block)을 생성하기 위해 2차원의 하다마드(Hadamard) 변환 동작을 사용하여 픽셀 값들의 상기 모션 블록을 변환하는 단계와;
    상기 제 2 이미지로부터 복수의 시험 매칭 블록들(a plurality of trial matching blocks)을 선택하는 단계로서, 상기 시험 매칭 블록들 중 적어도 하나는 모션 블록으로부터 위치가 하나의 픽셀 위치만큼 변위되는, 상기 선택 단계와;
    대응하는 복수의 변환된 매칭 블록들을 생성하기 위해 상기 2차원의 하다마드 변환 동작을 사용하여 상기 시험 매칭 블록들 각각을 변환하는 단계와;
    상기 변환된 모션 블록의 각 계수를 상기 복수의 변환된 매칭 블록들 각각의 각 계수와 비교함으로써 상기 변환된 모션 블록과 상기 복수의 변환된 매칭 블록들 각각간의 복수의 차이의 측정 치들(measures of difference)을 발생시키는 단계; 및
    상기 복수의 차이의 측정 치들 중에서 최소인 차이의 측정 치를 갖는 변환된 매칭 블록에 대응하는 시험 매칭 블록을, 매칭 블록으로, 선택하는 단계를 구비하는, 픽셀 데이터를 처리하기 위한 방법.
  2. (삭제)
  3. 제 1 항에 있어서, 상기 변환된 모션 블록과 상기 복수의 변환된 매칭 블록들 각각간의 복수의 차이의 측정 치들을 발생시키는 상기 단계는 상기 변환된 모션 블록의 계수들과 각각의 상기 변환된 매칭 블록들의 대응하는 계수들간의 MSE(mean-square error)를 계산하는 단계를 포함하고; 및
    상기 매칭 블록을 선택하는 단계는 임의의 다른 변환된 매칭 블록의 MSE 보다 작은 MSE를 갖는 변환된 매칭 블록에 대응하는 매칭 블록을 선택하는, 픽셀 데이터를 처리하기 위한 방법.
  4. 제 1 항에 있어서, 상기 변환된 모션 블록과 상기 복수의 변환된 매칭 블록들 각각간의 복수의 차이의 측정 치들을 발생시키는 상기 단계는 상기 변환된 모션 블록의 상기 계수들과 각각의 상기 변환된 매칭 블록들의 대응하는 계수들간의 MAD(mean absolute difference)를 계산하는 단계를 포함하고; 및
    상기 매칭 블록을 선택하는 단계는 임의의 다른 변환된 매칭 블록의 MAD 보다 작은 MAD를 갖는 변환된 매칭 블록에 대응하는 매칭 블록을 선택하는, 픽셀 데이터를 처리하기 위한 방법.
  5. 제 1 항에 있어서, 상기 모션 블록은 제 1 수, M의 픽셀 값들의 행들과 제 2 수, N의 픽셀 값들의 열들을 포함하고, 상기 모션 블록을 변환하는 단계는,
    M×N 매트릭스 값들을 생성하기 위해 상기 모션 블록에 의해 M×M 하다마드 매트릭스를 승산하는 단계; 및
    N×M 블록의 변환된 이미지 값들을 생성하기 위해 N×N 하다마드 매트릭스에 의해 M×N 매트릭스 값들을 승산하는 단계를 포함하는, 픽셀 데이터를 처리하기 위한 방법.
  6. 제 1 항에 있어서, 상기 제 1 및 제 2 이미지들은 비디오 신호의 제 1 및 제 2 연속적인 프레임들이고 상기 제 1 및 제 2 이미지들간의 차이들이 인터 프레임 모션에 대응하고, 상기 방법은,
    상기 모션 블록에 위치적으로 대응하는 상기 제 2 프레임내의 기준 블록을 식별하는 단계와;
    상기 제 2 프레임내의 상기 선택된 매칭 블록과 상기 기준 블록간의 변위를 결정하는 단계; 및
    상기 변위로부터 모션 벡터를 발생시키는 단계를 더 구비하는, 픽셀 데이터를 처리하기 위한 방법.
  7. 제 1 이미지내의 픽셀 값들의 모션 블록에 대응하는 제 2 이미지내의 픽셀 값들의 매칭 블록을 식별하기 위해 제 1 및 제 2 이미지들을 나타내는 픽셀 데이터를 처리하기 위한 방법에 있어서, 상기 방법은,
    상기 제 1 이미지내의 픽셀 값들의 M×N 블록을 선택하는 단계로서, 픽셀 값들의 상기 M×N 블록은 적절한 서브셋으로서 픽셀 값들의 상기 모션 블록을 포함하는, 상기 M×N 블록을 선택하는 단계와;
    픽셀 값들의 변환된 M×N 블록을 생성하기 위해 하다마드 변환 동작을 사용하여 픽셀 값들의 상기 M×N 블록을 변환하는 단계와;
    상기 제 2 이미지로부터 복수의 시험 M×N 매칭 블록들을 선택하는 단계와;
    대응하는 복수의 변환된 M×N 매칭 블록들을 생성하기 위해 상기 하다마드 변환 동작을 사용하여 각각의 상기 복수의 시험 M×N 매칭 블록들을 변환하는 단계와;
    상기 변환된 M×N 모션 블록의 각 계수와 각각의 상기 복수의 변환된 M×N 매칭 블록들의 각 계수간의 복수의 차이의 측정 치들을 발생시키는 단계와;
    차이의 최소 측정 치를 식별하기 위해 발생된 차이의 측정 치들을 비교하고 어느 변환된 M×N 매칭 블록이 상기 차이의 최소 측정 치에 대응하는지 결정하는 단계와;
    상기 M×N 블록과 상기 선택된 M×N 매칭 블록간의 변위를 결정하는 단계와;
    변환된 모션 블록을 생성하기 위해 소정 직교 변환 동작을 사용하여 픽셀 값들의 상기 모션 블록을 변환하는 단계와;
    상기 제 2 이미지로부터 복수의 추가 시험 매칭 블록들을 선택하는 단계로서, 상기 선택된 추가 시험 매칭 블록들이 상기 결정된 변위에 의해 상기 모션 블록으로부터 변위되는 상기 시험 매칭 블록 주위에 클러스터되어 있으며, 상기 추가 시험 매칭 블록들 중 적어도 하나는 상기 매칭 블록으로부터 위치가 하나의 픽셀 위치만큼 변위되는, 상기 복수의 추가 시험 매칭 블록들을 선택하는 단계와;
    대응하는 복수의 추가 변환된 매칭 블록들을 생성하기 위해 상기 소정 직교 변환 동작을 사용하여 픽셀 값들의 상기 추가 시험 매칭 블록들의 각각을 변환하는 단계와;
    상기 변환된 모션 블록과 상기 복수의 추가 변환된 매칭 블록들 각각과의 복수의 차이의 측정 치들을 발생시키는 단계; 및
    상기 복수의 차이의 측정 치들 중 다른 차이의 임의의 측정 치들보다 작은 상기 차이의 측정 치를 갖는 추가 변환된 매칭 블록에 대응하는 시험 매칭 블록을, 상기 매칭 블록으로서, 선택하는 단계를 구비하는, 픽셀 데이터를 처리하기 위한 방법.
  8. 제 1 이미지내의 픽셀 값들의 모션 블록에 대응하는 제 2 이미지내의 픽셀 값들의 매칭 블록을 식별하기 위해 제 1 및 제 2 이미지들을 나타내는 픽셀 데이터를 처리하기 위한 장치에 있어서, 상기 장치는,
    변환된 모션 블록을 생성하기 위해 하다마드 변환 동작을 사용하여 픽셀 값들의 상기 모션 블록을 변환하는 변환 처리기와;
    상기 제 2 이미지로부터 각각의 복수의 시험 매칭 블록들을 선택하고 대응하는 복수의 변환된 매칭 블록들을 생성하기 위해 하다마드 변환 동작을 사용하여 픽셀 값들의 상기 각각의 시험 매칭 블록들을 변환하는 복수의 추가 변환 처리기들로서, 상기 시험 매칭 블록들 중 적어도 하나는 모션 블록으로부터 위치가 하나의 픽셀 위치만큼 변위되는, 상기 복수의 추가 변환 처리기들과;
    각 매칭 블록내의 각 계수와 각 변환된 매칭 블록내의 대응하는 계수를 비교함으로써 상기 변환된 모션 블록과 각각의 상기 복수의 변환된 매칭 블록들간의 차이의 복수의 측정 치들을 발생시키고 차이의 최소 측정 치로서 상기 차이의 측정 치들 중 하나를 식별하는 비교기로서, 상기 차이의 최소 측정 치를 갖는 변환된 매칭 블록에 대응하는 시험 매칭 블록이 픽셀 값들의 상기 모션 블록에 대응하는 픽셀 값들의 매칭 블록으로서 식별되는, 상기 비교기를 포함하는, 픽셀 데이터를 처리하기 위한 장치.
  9. (삭제)
  10. 제 8 항에 있어서, 상기 비교기는,
    상기 변환된 모션 블록의 계수들과 상기 변환된 매칭 블록들 각각의 대응하는 계수들간의 MSE(mean-square error)를 계산하기 위한 수단; 및
    픽셀 값들의 상기 매칭 블록으로서 임의의 다른 변환된 블록의 MSE 보다 작은 MSE를 갖는 변환된 매칭 블록에 대응하는 시험 매칭 블록을 선택하기 위한 수단을 구비하는, 픽셀 데이터를 처리하기 위한 장치.
  11. 제 8 항에 있어서, 상기 비교기는,
    상기 변환된 모션 블록의 계수들과 상기 변환된 매칭 블록들 각각의 대응하는 계수들간의 MAD(mean absolute difference)를 계산하기 위한 수단; 및
    픽셀 값들의 상기 매칭 블록으로서 임의의 다른 변환된 블록의 MAD 보다 작은 MAD를 갖는 변환된 매칭 블록에 대응하는 시험 매칭 블록을 선택하기 위한 수단을 구비하는, 픽셀 데이터를 처리하기 위한 장치.
  12. 제 11 항에 있어서, 상기 제 1 및 제 2 이미지들은 비디오 신호의 제 1 및 제 2 연속적인 프레임들이고 제 1 및 제 2 이미지들간의 차이들이 인터 프레임 모션에 대응하고, 상기 장치는,
    상기 모션 블록에 위치적으로 대응하는 상기 제 2 프레임내의 기준 블록을 식별하는 수단과;
    제 2 프레임내의 상기 선택된 매칭 블록과 상기 기준 블록간의 변위를 결정하는 수단; 및
    변위로부터 모션 벡터를 발생시키는 수단을 더 구비하는, 픽셀 데이터를 처리하는 장치.
  13. 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능한 매체에 있어서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금,
    제 1 이미지로부터 픽셀들의 모션 블록을 식별하는 단계와;
    변환된 모션 블록을 생성하기 위해 하다마드 변환 동작을 사용하여 픽셀 값들의 상기 모션 블록을 변환하는 단계와;
    상기 제 2 이미지로부터 복수의 시험 매칭 블록들을 선택하는 단계로서, 상기 선택된 시험 매칭 블록들 중 적어도 하나는 상기 모션 블록으로부터 위치가 하나의 픽셀 위치만큼 변위되는, 상기 선택 단계와;
    대응하는 복수의 변환된 매칭 블록들을 생성하기 위해 하다마드 변환 동작을 사용하여 픽셀 값들의 상기 시험 매칭 블록들 각각을 변환하는 단계와;
    상기 변환된 모션 블록의 계수들과 상기 복수의 변환된 매칭 블록들 각각의 대응하는 계수들간의 복수의 차이의 측정 치들을 발생시키는 단계; 및
    상기 복수의 차이의 측정 치들 중 다른 차이의 임의의 측정 치들보다 작은 차이의 측정 치를 갖는 변환된 매칭 블록에 대응하는 시험 매칭 블록을, 매칭 블록으로서, 선택하는 단계를 실행하게 하는 복수의 명령들을 포함하는, 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능한 매체.
KR10-2000-0003675A 1999-01-27 2000-01-26 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체 KR100378902B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/239,089 1999-01-27
US9/239,089 1999-01-27
US09/239,089 US6625216B1 (en) 1999-01-27 1999-01-27 Motion estimation using orthogonal transform-domain block matching

Publications (2)

Publication Number Publication Date
KR20000076522A KR20000076522A (ko) 2000-12-26
KR100378902B1 true KR100378902B1 (ko) 2003-04-07

Family

ID=22900560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0003675A KR100378902B1 (ko) 1999-01-27 2000-01-26 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체

Country Status (6)

Country Link
US (1) US6625216B1 (ko)
EP (1) EP1024456A3 (ko)
JP (2) JP2000222587A (ko)
KR (1) KR100378902B1 (ko)
CN (1) CN1179302C (ko)
TW (1) TWI224290B (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
US6956971B1 (en) * 1999-07-20 2005-10-18 Lg Electronics Inc. Terminal and method for transporting still picture
GB2363020B (en) * 2000-04-07 2004-08-18 Discreet Logic Inc Processing image data
US6970577B2 (en) * 2000-12-19 2005-11-29 Lockheed Martin Corporation Fast fourier transform correlation tracking algorithm with background correction
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
JP3997749B2 (ja) * 2001-10-22 2007-10-24 ソニー株式会社 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
US6999514B2 (en) * 2001-10-26 2006-02-14 Selliah Rathnam Motion compensation with subblock scanning
US7155065B1 (en) 2002-03-27 2006-12-26 Microsoft Corporation System and method for progressively transforming and coding digital data
US7006699B2 (en) * 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
US8311095B2 (en) * 2002-07-17 2012-11-13 Onmobile Global Limited Method and apparatus for transcoding between hybrid video codec bitstreams
US20040057521A1 (en) * 2002-07-17 2004-03-25 Macchina Pty Ltd. Method and apparatus for transcoding between hybrid video CODEC bitstreams
KR100598093B1 (ko) * 2003-01-29 2006-07-07 삼성전자주식회사 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
US6950495B2 (en) 2003-12-01 2005-09-27 The Boeing Company Backscatter imaging using Hadamard transform masking
DE10361327A1 (de) * 2003-12-27 2005-07-21 Leica Microsystems Heidelberg Gmbh Verfahren zur Korrektur des Drifts bei einem optischen Gerät
JP4476104B2 (ja) * 2004-04-22 2010-06-09 三洋電機株式会社 符号化回路
US20050276493A1 (en) * 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
JP4609670B2 (ja) * 2004-12-28 2011-01-12 日本電気株式会社 画像符号化装置、画像符号化方法及びそのプログラム
JP2007279800A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置
US8068543B2 (en) * 2006-06-14 2011-11-29 Samsung Electronics Co., Ltd. Method and system for determining the reliability of estimated motion vectors
US8472527B2 (en) * 2006-09-13 2013-06-25 Texas Instruments Incorporated Hierarchical motion estimation using original frame for sub-sampled reference
EP2123054A2 (en) * 2007-03-09 2009-11-25 Dolby Laboratories Licensing Corporation Multi-frame motion extrapolation from a compressed video source
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
US7920746B2 (en) 2007-04-23 2011-04-05 Aptina Imaging Corporation Compressed domain image summation apparatus, systems, and methods
JP2011525761A (ja) * 2008-06-26 2011-09-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デジタルビデオにおける繰り返しの検出
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
TW201306568A (zh) 2011-07-20 2013-02-01 Novatek Microelectronics Corp 移動估測方法
CN102333220B (zh) * 2011-10-21 2013-11-06 北京大学 一种选择在变换域完成预测编码的视频编解码方法
EP2944085A4 (en) * 2013-01-09 2016-02-17 Vincenzo Liguori METHOD AND APPARATUS FOR COMPARING TWO PIXEL BLOCKS
US9398312B2 (en) * 2013-11-04 2016-07-19 Samsung Display Co., Ltd. Adaptive inter-channel transform for wavelet color image compression
JP6591199B2 (ja) * 2015-05-22 2019-10-16 株式会社日立製作所 超音波診断装置及びプログラム
US11425353B1 (en) * 2016-11-18 2022-08-23 X Development Llc Disparity interpolation refinement for stereo vision
CN108205810B (zh) * 2016-12-16 2021-08-10 富士通株式会社 图像比较装置及方法、电子设备
CN107135396B (zh) * 2017-06-16 2020-08-28 北京奇艺世纪科技有限公司 一种运动估计方法和装置
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335025A (ja) * 1993-05-20 1994-12-02 Kokusai Denshin Denwa Co Ltd <Kdd> 動き補償フレーム間コンポジットｔｖ信号直接符号化方式
EP0806866A2 (en) * 1991-05-23 1997-11-12 Nippon Hoso Kyokai Evaluation apparatus and method usable in motion vector detecting apparatus
US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency
US5815602A (en) * 1994-09-02 1998-09-29 Texas Instruments Incorporated DCT image compression and motion compensation using the hadamard transform

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
US5198901A (en) 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
JP3230263B2 (ja) 1992-01-31 2001-11-19 ソニー株式会社 動きベクトル検出回路
US5337085A (en) 1992-04-10 1994-08-09 Comsat Corporation Coding technique for high definition television signals
JPH0799658A (ja) 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
US5471252A (en) 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
JPH07170521A (ja) * 1993-12-15 1995-07-04 Canon Inc 画像処理装置
US5694173A (en) * 1993-12-29 1997-12-02 Kabushiki Kaisha Toshiba Video data arranging method and video data encoding/decoding apparatus
JPH0844708A (ja) 1994-07-27 1996-02-16 Fujitsu Ltd 二次元離散コサイン変換演算回路
GB9422018D0 (en) 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
US5786856A (en) 1996-03-19 1998-07-28 International Business Machines Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix
KR100235355B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0806866A2 (en) * 1991-05-23 1997-11-12 Nippon Hoso Kyokai Evaluation apparatus and method usable in motion vector detecting apparatus
JPH06335025A (ja) * 1993-05-20 1994-12-02 Kokusai Denshin Denwa Co Ltd <Kdd> 動き補償フレーム間コンポジットｔｖ信号直接符号化方式
US5815602A (en) * 1994-09-02 1998-09-29 Texas Instruments Incorporated DCT image compression and motion compensation using the hadamard transform
US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency

Also Published As

Publication number Publication date
US6625216B1 (en) 2003-09-23
JP2004229315A (ja) 2004-08-12
KR20000076522A (ko) 2000-12-26
EP1024456A2 (en) 2000-08-02
JP3768507B2 (ja) 2006-04-19
CN1262496A (zh) 2000-08-09
EP1024456A3 (en) 2001-08-29
TWI224290B (en) 2004-11-21
JP2000222587A (ja) 2000-08-11
CN1179302C (zh) 2004-12-08

Similar Documents

Publication Publication Date Title
KR100378902B1 (ko) 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
JP4001400B2 (ja) 動きベクトル検出方法及び動きベクトル検出装置
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
KR0171118B1 (ko) 비디오신호 부호화 장치
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
US6148027A (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
US5508744A (en) Video signal compression with removal of non-correlated motion vectors
JPH0955945A (ja) 動きベクトル特定方法及び装置
US5969766A (en) Method and apparatus for contour motion estimating a binary image by using a weighted block match algorithm
WO2004091222A1 (en) Method and apparatus for determining search range for adaptive motion vector for use in video encoder
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
US5838391A (en) Method and apparatus for detecting optimum motion vectors
US5689312A (en) Block matching motion estimation method
US5579050A (en) Apparatus for encoding a video signal using a search grid
KR100229803B1 (ko) 움직임 벡터 검출 방법 및 장치
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR100635009B1 (ko) 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치
KR100209418B1 (ko) 최적 움직임 벡터 검출 방법 및 장치
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR0129807B1 (ko) 계층 부호화 시스템에서의 움직임 벡터 추정장치 및 방법
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070319

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee