KR0174463B1 - 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치 - Google Patents

프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치 Download PDF

Info

Publication number
KR0174463B1
KR0174463B1 KR1019950003958A KR19950003958A KR0174463B1 KR 0174463 B1 KR0174463 B1 KR 0174463B1 KR 1019950003958 A KR1019950003958 A KR 1019950003958A KR 19950003958 A KR19950003958 A KR 19950003958A KR 0174463 B1 KR0174463 B1 KR 0174463B1
Authority
KR
South Korea
Prior art keywords
frame
search
motion vector
point
motion
Prior art date
Application number
KR1019950003958A
Other languages
English (en)
Other versions
KR960033138A (ko
Inventor
정해묵
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950003958A priority Critical patent/KR0174463B1/ko
Publication of KR960033138A publication Critical patent/KR960033138A/ko
Application granted granted Critical
Publication of KR0174463B1 publication Critical patent/KR0174463B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 현재 프레임과 이전의 선택된 프레임간의 1군의 탐색점에 대한 타겟(target) 움직임벡터를 결정하는 방법으로서, N개의 프레임이 현재와 이전의 선택된 프레임 사이에 스킵(skip)되고, 상기 N은 1을 포함한 양의 정수이며, 이전의 선택된 프레임에 포함된 상기 1군의 탐색점은 기설정되어 있는 움직임 벡터 결정 방법에 관한 것으로, 프레임 데시메이팅 비데오 부호화기에서 두 개의 부호화된 프레임간의 움직임벡터를 두개의 프레임과 스킵된 프레임들을 이용하여 다수의 단계를 거쳐 검출함으로서 비데오 부호화기의 계산량을 효과적으로 줄일 수 있는 것이다.

Description

프레임 데시메이팅(decimating) 비데오 부호화기의 움직임벡터 검출 방법 및 장치
제1도는 본 발명의 바람직한 실시예에 따른 움직임 추정 블록을 포함한 영상 부호화기의 블록구성도.
제2a 및 2b도는 본 발명과 종래의 움직임 추정 기법의 차이를 예시한 도면.
제3도는 본 발명에 따른 움직임 추정 블록에 대한 세부적인 블록구성도.
제4도는 제1도에 도시된 움직임 보상기에 대한 세부적인 블록구성도.
제5도는 비특징점에 대한 움직임벡터를 검출하는 방법을 예시한 도면.
* 도면의 주요부분에 대한 부호의 설명
101 : 프레임 데시메이터 105 : 영상신호 부호화기
107 : 엔트로피 부호화기 113 : 영상신호 복호화기
122 : 움직임 보상기 124 : 프레임 메모리
126 : 움직임 추정기 190 : 프레임 스택
200 : 특징점 선택 블록 210 : 움직임벡터 검출 블록
220 : 특징점 갱신 블록 230 : 움직임벡터 누산기
214 : 비특징점 움직임 추정기 216 : 화소단위 예측기
본 발명은 영상신호를 부호화하는 방법 및 장치에 관한 것으로, 특히 데이터를 압축하기 위해 프레임 데시메이션(decimation)과 화소 단위 움직임 추정과 보상기법을 이용하는 프레임 데시메이팅 비데오 부호화기에서 움직임벡터를 검출하는 방법 및 장치에 관한 것이다.
이 기술분야에 잘 알려진 바와 같이, 이산화된 화상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
한편, 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
보다 상세하게, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
통상적으로, 물체의 화소 변위를 추정하는 데에는 여러 가지 접근 방법이 있으며, 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록 단위의 움직임 추정 방법이고 다른 하나는 화소 단위의 움직임 추정 방법이다.
한편, 상기한 움직임 추정 방법중 블록 단위 움직임 추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합 블록을 결정한 다음, 이로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)가 추정된다. 그러나, 이와같은 블록 단위 움직임 추정에서는 움직임 보상 과정에서 블록 경계에 블록킹 효과(blocking effect)가 발생할 수 있고, 각 블록내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않게 되므로서 결과적으로 부호화의 효율이 감소한다는 단점이 있다.
다른한편, 화소 단위 움직임 추정 방법을 이용하면, 변위는 각각의 화소 전부에 대해 구할 수 있으므로 화소값을 보다 더 정확히 추정할 수 있고, 또한 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는다. 그러나 이와같은 화소 단위 움직임 추정 방법에서는, 움직임벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임벡터를 수신기에 전송하는 것이 실질적으로 불가능하다. 따라서, 화소 단위 움직임 추정방법의 경우 상기한 바와같은 점을 고려하여 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터는 특징점에 대한 움직임벡터로부터 복원될 수 있다. 본 발명은 실질적으로 이와같이 특징점을 이용한 움직임 추정에 관련된다.
통상적으로, 특징점을 이용한 움직임 추정을 채용하는 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 선택된 각 특징점에 대한 움직임벡터가 결정되는데 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위가 된다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색 영역에서 찾는데 이때 탐색 영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.
한편, 쉽게 구현할 수 있는 또다른 하나의 압축 기법으로서는 프레임 데시메이션(decimation) 방법이 있는데, 이 방법은 비데오 영상의 선택된 프레임만 부호화하여 전송하고 그 사이에 남는 프레임들은 스킵(skip)함으로서, 즉, 데시메이션함으로서 전송하고자 하는 데이터의 양을 줄인다(예를들어, Video Codec for Audiovisual Services at p×64kb/s, CCITT 권고안 H.261, CDM XV-R 37-E, International Telegraph and Telecommunication Consultative Committee(CCITT), 1990, 8월 참조).
일반적인 비데오 부호화기의 입력은 주로 30프레임/초(frame/sec)의 비데오 신호이다. 두 개의 부호화된 프레임 사이에 하나, 둘, 세 개의 프레임을 스킵하는 경우 각각의 프레임 레이트는 15,10,7.5 프레임/초가 된다.
다른한편, 하이브리드 부호화와 프레임 데시메이션 기법을 동시에 이용하는 종래의 비데오 부호화기에서는 비데오 신호의 선택된 프레임들은 프레임간 부호화 기법과 변환(transform) 부호화 기법을 이용해서 부호화되고, 프레임간 부호화의 움직임벡터는 두 개의 연속된 부호화된 프레임 간에서 검출된다. 프레임중 일부가 스킵되었으므로 두 개의 연속적인 부호화된 프레임간의 움직임 차 또는 변위는 데시메이트되지 않은 경우보다 급작스럽고, 따라서 더 큰 움직임 벡터가 생성된다. 그 결과, 두 개의 부호화된 프레임간에 최적의 움직임벡터를 검출하기 위해서는 더 큰 탐색 영역이 이용되어야 하고 그 크기는 부호화된 프레임의 프레임 레이트 또는 데시메이션 정도에 따라 결정된다. 여기에서, 움직임 추정의 계산상의 복잡도는 보통 탐색영역의 크기에 비례하므로, 프레임 데시메이션 기법을 채용하는 비데오 부호화기에서 움직임벡터를 추정하는데 실질적으로 큰 계산량이 부과된다.
따라서, 본 발명의 주 목적은 프레임 데시메이팅 비데오 부호화기에서 두 개의 부호화된 프레임간의 움직임벡터를 다수의 단계를 거쳐 검출함으로서 비데오 부호화기의 계산량을 줄일 수 있는 움직임벡터 검출 방법 및 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 일관점에 따른 본 발명은, N 개의 스킵 프레임을 사이에 두고 시간적으로 연속하는 현재 프레임과 이전 프레임간의 1군의 탐색점에 대한 목표 움직임 벡터를 검출하는 방법에 있어서, (a) 상기 N 개의 스킵 프레임을 저장하며, 상기 N이 양의 정수인 단계; (b) 상기 1군의 탐색점 중 하나를 참조 탐색점으로 결정하는 단계; (c) 상기 참조 탐색점에 대하여, i 번째 스킵된 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 상기 최적 정합점간의 변위를 나타내며 1에서 N 중에서 크기 순서대로 선택되는 숫자인 i 번째 움직임벡터를 생성하고, 그 최적 정합점을 상기 참조 탐색점으로 결정하며, 상기 N이 양의 정수인 단계; (d) 상기 생성된 i 번째 움직임벡터를 저장하는 단계; (e) 상기 i를 1부터 N번째까지의 움직임벡터를 구할 때까지 상기 단계 (c) 및 (d)를 반복하는 단계; (f) 상기 참조 탐색점에 대하여, 이전의 선택된 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 이 최적 정합점간의 변위를 나타내는 (N+1) 번째 움직임벡터를 생성하는 단계; (g)상기 (N+1) 개의 움직임벡터를 가산하여 상기 탐색점중 하나와 이전의 선택된 프레임의 해당 최적 정합점간의 변위를 표시하는 움직임벡터를 제공하는 단계; 및 (h) 상기 단계 (b)에서 (g)를, 모든 탐색점에 대한 한 세트의 움직임벡터를 검출할 때 까지, 반복하는 단계로 이루어진 것을 특징으로 하는 움직임벡터 검출 방법을 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, N개의 스킵 프레임을 사이에 두고 시간적으로 연속하는 현재 프레임과 이전 프레임간의 1군의 탐색점에 대한 목표 움직임벡터를 검출하는 장치에 있어서, 상기 N개의 스킵 프레임을 저장하며, 상기 N이 양의 정수인 메모리 수단; 이전의 선택된 프레임에서 1군의 탐색점을 선택하는 수단; 참조 프레임의 참조 탐색점을 제공하기 위한 것으로, 움직임 벡터가 입력되지 않으면 이전의 프레임에 포함된 탐색점중 하나를 참조 탐색점으로 선택하고, 움직임벡터가 입력되면 참조 탐색점을 참조 프레임의 다음 프레임에 있는 참조 탐색점의 최적 정합점으로 갱신하며, 모든 탐색점에 대하여 상기 (N+1)개의 참조 탐색점을 제공하는 수단; 상기 참조 탐색점에 대하여, 참조 프레임 다음 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 상기 최적 정합점간의 변위를 나타내는 일련의 (N+1)개의 움직임벡터중 하나를 생성하는 움직임벡터 검출 수단; 및 상기 일련의 (N+1)개의 움직임벡터를 누산하여 탐색점중 하나와 현재 프레임의 해당 최적 정합점간의 변위를 표시하는 목표 움직임벡터를 제공하여, 모든 탐색점에 대한 한 세트의 목표 움직임벡터를 제공하는 수단으로 이루어진 것을 특징으로 하는 움직임벡터 검출 장치를 제공한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도에는 본 발명의 움직임 추정기(126)를 이용한 비데오 부호화기의 블록구성도가 도시되어 있다. 여기에서, 입력되는 이산 비데오 신호는 프레임 데시메이터(101)와 움직임 추정기(126)로 입력된다.
따라서, 프레임 데시메이터(101)에서는 부호화하고자 하는 프레임들을 그 사이에 삽입된 프레임들에 대한 데시메이션 정도를 나타내는 기설정된 프레임 데시메이션 비(ratio)에 따라 스킵함으로서 선택하고, 이 선택된 프레임들은 감산기(102)로 입력된다. 예를들어, 기설정된 데시메이션 비가 2 또는 3인 경우 각각 프레임 데시메이터(101)는 매 두개 또는 세개의 프레임중 하나를 선택한다. 또한, 움직임 추정기(126)에서는, 라인 L10 상의 현재의 프레임이나 스킵된 프레임 신호와 프레임 메모리(124)로부터의 라인 L12 상의 복원된 이전의 부호화된 프레임 신호를 처리하여 제1세트의 움직임벡터를 추정하는데, 그 각각은 이전에 부호화된 프레임의 특징점과 현재 프레임의 해당 탐색 영역에 포함된 최적 정합점간의 변위를 표시한다.
본 발명과 관련하여, 두 개의 선택된 프레임, 즉 이전의 부호화된 프레임과 현재 프레임 사이의 움직임벡터는 첨부된 제2a 및 3도를 참조하여 설명되는 것과 같이 다수의 단계를 거쳐서 검출된다. 각각의 단계에서는, 부호화된 프레임뿐 아니라 스킵된 프레임을 포함하는 두 개의 연속된 프레임간의 움직임벡터가 검출되어 저장되며, 이와같이 저장된 움직임벡터들을 가산함으로서 두 개의 부호화된 프레임간의 움직임벡터가 얻어진다.
다음에, 상기한 바와같은 움직임 추정기(126)로부터 라인 L20 상에 제공되는 움직임벡터는 움직임 보상기(122)과 엔트로피 부호화기(107)에 입력된다. 움직임 보상기(122)는 움직임벡터에 응답하여, 제4도를 참조하여 설명된 것과 같은 방법으로, 화소 단위로 예측신호를 결정한 다음 그 결정된 예측신호를 라인 L30을 통하여 감산기(102)와 가산기(115)에 각각 제공한다.
따라서, 움직임 보상기(122)로부터의 예측신호는 감산기(102)를 통해 현재 프레임신호로부터 감산된 다음 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상신호 부호화기(105)로 입력되며, 한 블록의 에러신호는 이산 코사인 변환(DCT) 등과 양자화 방법을 통해 일련의 양자화된 변환계수로 부호화된다. 그 이후에 양자화된 변환계수는 두가지 경로를 통해 전송된다. 즉, 하나는 엔트로피 부호화기(107)로 연결되어 양자화된 변환계수들이 라인 L20을 통해 전송되는 움직임벡터와 함께, 런렝쓰(run-length) 부호화와 가변길이 부호화의 결합 등의 방법을 통해 부호화되어 전송되고, 다른 하나는 영상신호 복호화기(113)으로 연결되어 양자화된 변환계수들이 역양자화와 역변환을 통해 복원된 차분 에러 신호로 변환된다. 여기에서, 에러신호의 복원은 부호화기가 송신기내의 복호화기의 동작을 추적하여 복호화기에서 복원된 신호가 현재 프레임 신호로부터 발산하는 것을 방지하기 위해 필요하다. 그리고, 영상신호 복호화기(113)로부터의 복원된 에러신호와 움직임 보상기(122)로부터의 예측신호는 가산기(115)에서 합쳐져서 복원된 현재 프레임 신호가 되어 이전 프레임 신호로써 프레임 메모리(124)에 저장된다.
한편, 제2a 및 2b도는 각각 본 발명의 움직임벡터 검출 방법과 종래의 움직임벡터 검출 방법을 예시하는 도면이다. 여기에서 설명의 편의와 이해의 증진을 위해 일예로서 프레임 데시메이션 비는 3으로, 즉 부호화될 현재의 선택된 프레임과 이전의 부호화된 프레임간에 두 개의 프레임이 스킵된 것으로 가정한다.
제2a 도는 현재 프레임 F1와 프레임 메모리(124)에 저장된 이전의 부호화된 프레임 F4간에 있어서 본 발명에 따라 움직임벡터를 추정하는 방법을 도시한 것이다. 여기에서, 두 개의 스킵된 프레임, F2와 F3는, 제1도의 움직임 추정기를 상세히 보여주는 제3도에 도시된 바와같이, 프레임 스택(190)에 저장되어 있다.
우선, 이전의 부호화된 프레임 F4의 탐색점 SP4에 해당하는 탐색영역 SR3를 뒤따르는 스킵된 프레임 F3에서 결정하는데, 여기에서 탐색점 SP4는 이전의 부호화된 프레임 F4의 특징점중 하나이다. 따라서, SP4의 최적 정합점은 탐색영역 SR3로부터 결정되어, 프레임 F4와 F3 사이에 움직임벡터 MV3를 제공한다. 그 이후에, 프레임 F3의 최적 정합점인 SP3를 새로운 탐색점으로 하여 탐색 영역 SR3로부터 MV3만큼 이동된 새로운 탐색 영역 SR2를 프레임 F3의 그 다음 스킵된 프레임인 F2에서 결정한다. 탐색점 SP3의 최적 정합점이 SR2에서 결정되어, F3와 F2 사이의 움직임벡터 MV2가 제공된다. 비슷한 방법으로, 프레임 F2와 현재 프레임 F1 사이의 움직임벡터 MV1을 검출한다. 이전의 부호화된 프레임 F4와 현재 프레임 F1간의 최종의 움직임벡터는 MV1, MV2, MV3의 벡터 합으로서, F4의 탐색점 SP4와 F1의 최적 정합점 SP1간의 변위를 나타낸다.
상술한 바와같은, 이전에 부호화된 프레임의 하나의 탐색점에 대해 움직임벡터를 구하는 과정은 이전에 부호화된 프레임의 모든 다른 탐색점에 대해서도 반복적으로 수행된다.
제2b도에는 종래의 움직임 추정 기법을 이용하여 이전의 부호화된 프레임 F4와 현재 프레임 F1간의 움직임벡터를 구하는 방법이 도시되어 있다. 탐색점 SP4의 최적 정합점은 직접 F1의 탐색 영역에서 결정된다. 상술한 제2a도에서와 같은 크기의 탐색 영역, 예를들어 SR5를 이용하면 제2a도에 의해 구한 이전의 부호화된 프레임의 최적 정합점 SP1은 탐색영역 SR5의 범위를 넘게 된다. 따라서, 더 정확한 움직임벡터를 구하기 위해서는, 더 큰 탐색 영역, 예를들어, SR6이 이용되어야 한다. 사실상, 현재 프레임과 이전의 부호화된 프레임간의 움직임벡터의 크기는 프레임 데시메이션 비에 좌우된다. 따라서, 정확한 움직임벡터를 얻기 위해서는 이전의 부호화된 프레임의 탐색 영역은 프레임 데시메이션 비에 비례하여 커져야 한다. 정확한 움직임벡터를 얻기 위해 큰 탐색 영역, 예를들어 SR6이 이용되면 최적 정합점을 찾기 위한 계산량은 탐색 영역의 크기에 비례하여 커진다. 따라서, 제2a도에 도시된 바와같은 방법은 다수의 단계로 처리를 하는데 필요한 부가의 계산 시간을 제외하고는 제2b도의 방법에 비해 계산량이 적다.
제3도는 제1도에 도시된 본 발명의 움직임 추정기(126)에 대한 세부적인 블록구성도이다.
먼저, 라인 L10을 통해 제1도에 도시된 프레임 데시메이터(101)로부터 입력되는 비데오 신호는 프레임 스택(frame stack)(190)에 입력된다. 보다 상세하게, 비데오 신호의 스킵된 프레임과 현재 프레임은 프레임 스택(190)에 입력되어 저장되고 또 움직임벡터 검출 블록(210)에 제공된다. 또한, 프레임 메모리(124)로부터 인출된 이전의 부호화된 프레임은 라인 L12를 통해 특징점 선택 블록(200)과 움직임벡터 검출 블록(210)에 입력된다. 특징점 선택 블록(200)에서는 이전의 부호화된 프레임에 포함된 화소중 다수의 특징점을 선택한다. 여기에서, 각각의 특징점은 주위 화소를 대표할 수 있는 화소들로 정의된다.
그런다음, 각각의 선택된 특징점은 특징점 갱신 블록(220)에 입력되어 하기에 상세하게 기술되는 것과 같은 방법으로 갱신된다. 즉, 제2a도를 참조하여 앞에서 설명한 바와같이, 갱신된 특징점은 움직임벡터 검출 블록(210)에 탐색점으로 입력되어 갱신된 특징점에 대해 움직임벡터를 검출한다.
프로세싱의 초기에는 갱신된 특징점은 특징점 선택 블록(200)에서 입력된 특징점과 같다. 움직임벡터 검출 블록(210)은 특징점, 예를들어 제2a도의 탐색점 SP4에 대한 최적 정합점을 스킵한 프레임 F3의 탐색 영역 SR3에서 찾아서, 탐색점 SP4와 탐색영역 SR3의 최적 정합점간의 움직임벡터를 결정한다. 특징점에 대한 움직임벡터를 찾는 다양한 프로세싱 알고리듬이 있는데 그 중 하나는 하나의 특징점에 대해 일정한 크기의 블록을 설정하여 이 기술분야에 잘 알려진 블록정합 알고리듬을 이용하여 움직임벡터를 검출하는 것이다.
다음에, 움직임벡터 MV3은 움직임벡터 누산기(230)에 입력되어 저장되고, 또한 특징점 갱신 블록(220)에 입력되어 최적 정합점 SP3를 새로운 갱신된 특징점으로 하여 움직임벡터 검출 블록(210)에 제공한다. 따라서, 움직임벡터 검출 블록(210)에서는, 새로운 탐색점, 즉 제2a도의 새로운 탐색점 SP3에 대한 최적 정합점을 스킵된 프레임 F2의 탐색 영역 SP2에서 결정하여, 탐색점 SP3와 탐색 영역 SR2의 최적 정합점 SP2간의 움직임벡터 MV2를 결정한다.
그런다음, 움직임벡터 MV는 움직임벡터 누산기(230)에 입력되어 움직임벡터 MV3에 더해지고, 동시에 특징점 갱신 블록(220)에 입력된다. 이러한 움직임벡터를 결정하고 특징점을 갱신하는 과정은 스킵된 프레임 F2와 현재 프레임 F1 사이에서도 반복된다. 이와같이 검출된 움직임벡터, 즉 MV1, MV2, MV3를 누산하여 제2b도의 MV와 같은 최종의 움직임벡터를 결정하는데, MV는 이전의 부호화된 프레임의 특징점 SP4와 라인 L10상의 현재 프레임의 해당 탐색 영역 SR1의 최적정합점 SP1 간의 움직임벡터이다. 이전의 부호화된 프레임의 모든 특징점에 대해 전술한 바와같은 과정을 반복하여, 특징점에 대한 제1세트의 움직임벡터를 생성하여 제1도에 도시된 움직임 보상기(122)에 제공한다.
상술한 바와같은 본 발명의 바람직한 실시예에서는 프레임 데시메이션 비가 3인 경우에 대해 기술되었지만, 이 기술분야의 숙련자라면 비데오 신호를 부호화하는데에는 다양한 프레임 데시메이션 방법이 쓰일 수 있고 또한 움직임 벡터를 기술된 것과 유사한 방법으로 계산할 수 있다는 것을 알 수 있을 것이다.
제4도를 참조하면, 움직임 보상기(12)의 상세한 블록구성도가 도시되어 있다. 동도면에 도시된 바와같이, 특징점에 대한 제1세트의 움직임벡터는 라인 L20을 통해 움직임 추정기(126)로부터 비특징점 움직임 추정기(214)로 제공된다. 그리고, 비특징점 움직임 추정기(214)에서는 특징점에 대한 제1세트의 움직임벡터를 이용하여 이전의 부호화된 프레임의 특징점 이외의 점인 비특징점 각각에 대한 제2세트의 움직임벡터를 결정한다.
제5도는 다수의 특징점이 프레임 전체에 불규칙적으로 분포해 있는 경우 움직임벡터를 검출하는 방법이 도시되어 있다. 동도면에서 별 모양으로 표시된 비특징점에 대한 움직임벡터는 반지름 dr+da의 원의 경계에 포함되는 특징점들의 움직임벡터를 평균함으로서 구하는데, 이때 da는 가장 가까운 특징점과 별표한 화소위치와의 거리이고 dr은 움직임벡터 계산에 이용되는 다른 특징점을 포함하도록 확장된 기설정된 반지름이다. 예를들어, 가장 가까운 특징점이 Y 이고 특징점 X가 반지름의 dr+da의 원의 경계에 포함된다면, 별표한 화소에 대한 움직임벡터 (MVx, MVy)는 다음과 같이 계산된다.
여기에서, dx와 dy는 각각 별표된 화소 위치로부터 특징점 X 와 Y까지의 거리이고, (MVx, MVy)X와 (MVx, MVy)Y는 각각 특징점에 대한 움직임벡터들이다.
제4도를 다시 참조하면, 비특징점에 대한 결정된 제2세트의 움직임벡터는 화소 단위 예측기(216)로 입력되고, 거기에서는 예측된 현재 프레임에 포함될 화소값들이 두 세트의 움직임벡터를 이용하여 결정된다.
이상 설명한 바와같이 본 발명에 따르면, 프레임 데시메이팅 비데오 부호화기에서 두 개의 부호화된 프레임간의 움직임벡터를 두 개의 프레임과 스킵된 프레임들을 이용하여 다수의 단계를 거쳐 검출함으로서 비데오 부호화기의 계산량을 효과적으로 줄일 수 있다.

Claims (2)

  1. N개의 스킵 프레임을 사이에 두고 시간적으로 연속하는 현재 프레임과 이전 프레임간의 1군의 탐색점에 대한 목표 움직임 벡터를 검출하는 방법에 있어서, (a) 상기 N개의 스킵 프레임을 저장하며, 상기 N이 양의 정수인 단계; (b) 상기 1군의 탐색점 중 하나를 참조 탐색점으로 결정하는 단계; (c) 상기 참조 탐색점에 대하여, i 번째 스킵된 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 상기 최적 정합점간의 변위를 나타내며 1에서 N중에서 크기 순서대로 선택되는 숫자인 i 번째 움직임벡터를 생성하고, 그 최적 정합점을 상기 참조 탐색점으로 결정하며, 상기 N이 양의 정수인 단계; (d) 상기 생성된 i 번째 움직임벡터를 저장하는 단계; (e) 상기 i를 1부터 N번째까지의 움직임벡터를 구할 때까지 상기 단계 (c) 및 (d)를 반복하는 단계; (f) 상기 참조 탐색점에 대하여, 이전의 선택된 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 이 최적 정합점간의 변위를 나타내는 (N+1)번째 움직임벡터를 생성하는 단계; (g) 상기 (N+1)개의 움직임벡터를 가산하여 상기 탐색점중 하나와 이전의 선택된 프레임의 해당 최적 정합점간의 변위를 표시하는 움직임벡터를 제공하는 단계; 및 (h) 상기 단계 (b)에서 (g)를, 모든 탐색점에 대한 한 세트의 움직임벡터를 검출할 때 까지, 반복하는 단계로 이루어진 것을 특징으로 하는 움직임벡터 검출 방법.
  2. N개의 스킵 프레임을 사이에 두고 시간적으로 연속하는 현재 프레임과 이전 프레임간의 1군의 탐색점에 대한 목표 움직임 벡터를 검출하는 장치에 있어서, 상기 N개의 스킵 프레임을 저장하며, 상기 N이 양의 정수인 메모리 수단; 이전의 선택된 프레임에서 1군의 탐색점을 선택하는 수단; 참조 프레임의 참조 탐색점을 제공하기 위한 것으로, 움직임벡터가 입력되지 않으면 이전의 프레임에 포함된 탐색점중 하나를 참조 탐색점으로 선택하고, 움직임벡터가 입력되면 참조 탐색점을 참조 프레임의 다음 프레임에 있는 참조 탐색점의 최적 정합점으로 갱신하며, 모든 탐색점에 대하여 상기 (N+1)개의 참조 탐색점을 제공하는 수단; 상기 참조 탐색점에 대하여, 참조 프레임 다음 프레임의 해당 탐색 영역에 포함된 최적 정합점을 결정하여, 상기 참조 탐색점과 상기 최적 정합점간의 변위를 나타내는 일련의 (N+1)개의 움직임벡터중 하나를 생성하는 움직임벡터 검출 수단; 및 상기 일련의 (N+1)개의 움직임벡터를 누산하여 탐색점중 하나와 현재 프레임의 해당 최적 정합점간의 변위를 표시하는 목표 움직임벡터를 제공하여, 모든 탐색점에 대한 한 세트의 목표 움직임벡터를 제공하는 수단으로 이루어진 것을 특징으로 하는 움직임벡터 검출 장치.
KR1019950003958A 1995-02-28 1995-02-28 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치 KR0174463B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950003958A KR0174463B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950003958A KR0174463B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치

Publications (2)

Publication Number Publication Date
KR960033138A KR960033138A (ko) 1996-09-17
KR0174463B1 true KR0174463B1 (ko) 1999-03-20

Family

ID=19408914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950003958A KR0174463B1 (ko) 1995-02-28 1995-02-28 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치

Country Status (1)

Country Link
KR (1) KR0174463B1 (ko)

Also Published As

Publication number Publication date
KR960033138A (ko) 1996-09-17

Similar Documents

Publication Publication Date Title
US5619281A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
KR0181027B1 (ko) 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5453801A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
KR0171118B1 (ko) 비디오신호 부호화 장치
EP0637894B1 (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
EP0771117B1 (en) Method and apparatus for encoding and decoding a video signal using feature point based motion estimation
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5627591A (en) Image processing system using a pixel-by-pixel motion estimation based on feature points
US5506622A (en) Block matching type motion vector determination using correlation between error signals
JP3681784B2 (ja) 映像信号符号化装置
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5625417A (en) Image processing system using a feature point-based motion estimation
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR100203638B1 (ko) 반화소 단위 움직임 추정방법
CN1127969A (zh) 用于在帧削减视频编码器中检测运动矢量的方法及装置
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee